JointDiff: Bridging Continuous and Discrete in Multi-Agent Trajectory Generation

2509.22522v1 cs.LG, cs.CV 2025-09-30
Авторы:

Guillem Capellera, Luis Ferraz, Antonio Rubio, Alexandre Alahi, Antonio Agudo

Резюме на русском

## Контекст Generative models часто рассматривают континуумные данные и дискретные события как раздельные процессы, что создает проблемы при моделировании систем, где эти процессы синхронно взаимодействуют. Это недостаток особенно чувствительен в области моделирования многоагентных систем, таких как спортивные мероприятия. Для того чтобы устранить этот пробел, предлагается JointDiff, новая рамочная модель, которая сочетает в себе два процесса в едином фреймворке. Она может одновременно генерировать континуумные спатио-темпоральные данные и дискретные события, обеспечивая более реалистичную и контролируемую генерацию. ## Метод JointDiff основывается на фреймворке распространения (diffusion framework). Он добавляет дискретные события в процесс распространения, который обычно ограничивается только континуумными данными. Для ускорения адаптации распространения для дискретных событий, был предложен CrossGuid, новый метод условной обработки в многоагентных системах. Это позволяет управлять процессом генерирования, внедряя гибкость в семантику динамики игры или других систем, где взаимодействуют множество агентов. ## Результаты За счет использования модели JointDiff был проведен валидационный эксперимент на данных из спортивных дисциплин, в частности, футболе и футболе американского типа. Данные были дополнены текстовыми описаниями, чтобы добиться более точной интерпретации дискретных событий. Модель показала себя эффективно в обоих сценариях: неуправляемой генерации и двух управляемых сценариях – "поддержка определенного агента" (weak-possessor-guidance) и "текстовая генерация" (text-guidance). Эти результаты доказали, что сочетание континуумных и дискретных процессов позволяет получить более реалистичные и управляемые модели. ## Значимость JointDiff может быть применено в различных областях, где необходимо моделировать системы с множеством агентов, взаимодействующих в синхронной среде. Например, в спортивных системах, игровых системах, прогнозировании динамики массовых мероприятий. Новая модель предоставляет более сильную гибкость в управлении системой, чем существующие подходы. Это открывает путь к созданию более реалистичных и контролируемых генеративных моделей для интерактивных систем. ## Выводы Результаты доказывают, что JointDiff является перспективным подходом для моделирования многоагентных систем. Будущие исследования будут сфокусированы на расширении модели для других сфер, включая медицинские системы, производственные процессы и другие приложения, где комбинация континуумных и дискретных процессов является ключевым моментом.

Abstract

Generative models often treat continuous data and discrete events as separate processes, creating a gap in modeling complex systems where they interact synchronously. To bridge this gap, we introduce JointDiff, a novel diffusion framework designed to unify these two processes by simultaneously generating continuous spatio-temporal data and synchronous discrete events. We demonstrate its efficacy in the sports domain by simultaneously modeling multi-agent trajectories and key possession events. This joint modeling is validated with non-controllable generation and two novel controllable generation scenarios: weak-possessor-guidance, which offers flexible semantic control over game dynamics through a simple list of intended ball possessors, and text-guidance, which enables fine-grained, language-driven generation. To enable the conditioning with these guidance signals, we introduce CrossGuid, an effective conditioning operation for multi-agent domains. We also share a new unified sports benchmark enhanced with textual descriptions for soccer and football datasets. JointDiff achieves state-of-the-art performance, demonstrating that joint modeling is crucial for building realistic and controllable generative models for interactive systems.

Ссылки и действия