JointDiff: Bridging Continuous and Discrete in Multi-Agent Trajectory Generation
2509.22522v1
cs.LG, cs.CV
2025-09-30
Авторы:
Guillem Capellera, Luis Ferraz, Antonio Rubio, Alexandre Alahi, Antonio Agudo
Резюме на русском
## Контекст
Generative models часто рассматривают континуумные данные и дискретные события как раздельные процессы, что создает проблемы при моделировании систем, где эти процессы синхронно взаимодействуют. Это недостаток особенно чувствительен в области моделирования многоагентных систем, таких как спортивные мероприятия. Для того чтобы устранить этот пробел, предлагается JointDiff, новая рамочная модель, которая сочетает в себе два процесса в едином фреймворке. Она может одновременно генерировать континуумные спатио-темпоральные данные и дискретные события, обеспечивая более реалистичную и контролируемую генерацию.
## Метод
JointDiff основывается на фреймворке распространения (diffusion framework). Он добавляет дискретные события в процесс распространения, который обычно ограничивается только континуумными данными. Для ускорения адаптации распространения для дискретных событий, был предложен CrossGuid, новый метод условной обработки в многоагентных системах. Это позволяет управлять процессом генерирования, внедряя гибкость в семантику динамики игры или других систем, где взаимодействуют множество агентов.
## Результаты
За счет использования модели JointDiff был проведен валидационный эксперимент на данных из спортивных дисциплин, в частности, футболе и футболе американского типа. Данные были дополнены текстовыми описаниями, чтобы добиться более точной интерпретации дискретных событий. Модель показала себя эффективно в обоих сценариях: неуправляемой генерации и двух управляемых сценариях – "поддержка определенного агента" (weak-possessor-guidance) и "текстовая генерация" (text-guidance). Эти результаты доказали, что сочетание континуумных и дискретных процессов позволяет получить более реалистичные и управляемые модели.
## Значимость
JointDiff может быть применено в различных областях, где необходимо моделировать системы с множеством агентов, взаимодействующих в синхронной среде. Например, в спортивных системах, игровых системах, прогнозировании динамики массовых мероприятий. Новая модель предоставляет более сильную гибкость в управлении системой, чем существующие подходы. Это открывает путь к созданию более реалистичных и контролируемых генеративных моделей для интерактивных систем.
## Выводы
Результаты доказывают, что JointDiff является перспективным подходом для моделирования многоагентных систем. Будущие исследования будут сфокусированы на расширении модели для других сфер, включая медицинские системы, производственные процессы и другие приложения, где комбинация континуумных и дискретных процессов является ключевым моментом.
Abstract
Generative models often treat continuous data and discrete events as separate
processes, creating a gap in modeling complex systems where they interact
synchronously. To bridge this gap, we introduce JointDiff, a novel diffusion
framework designed to unify these two processes by simultaneously generating
continuous spatio-temporal data and synchronous discrete events. We demonstrate
its efficacy in the sports domain by simultaneously modeling multi-agent
trajectories and key possession events. This joint modeling is validated with
non-controllable generation and two novel controllable generation scenarios:
weak-possessor-guidance, which offers flexible semantic control over game
dynamics through a simple list of intended ball possessors, and text-guidance,
which enables fine-grained, language-driven generation. To enable the
conditioning with these guidance signals, we introduce CrossGuid, an effective
conditioning operation for multi-agent domains. We also share a new unified
sports benchmark enhanced with textual descriptions for soccer and football
datasets. JointDiff achieves state-of-the-art performance, demonstrating that
joint modeling is crucial for building realistic and controllable generative
models for interactive systems.
Ссылки и действия
Дополнительные ресурсы: