TurboTrain: Towards Efficient and Balanced Multi-Task Learning for Multi-Agent Perception and Prediction
2508.04682v1
cs.CV
2025-08-09
Авторы:
Zewei Zhou, Seth Z. Zhao, Tianhui Cai, Zhiyu Huang, Bolei Zhou, Jiaqi Ma
Резюме на русском
Многоагентные системы, использующие многозадачное обучение, обладают большим потенциалом для улучшения производительности в сложных задачах промежуточного представления и прогнозирования. Однако эффективное обучение таких моделей требует значительных усилий в ручном дизайне и настройке. В статье представлен TurboTrain — новый фреймворк для улучшения эффективности обучения в многоагентных системах. Он включает два ключевых компонента: маскированное восстановительное обучение для предварительной обработки многоагентных спектро-временных данных и стратегию балансировки многозадачного обучения, снижающую конфликты градиентов. Этот подход упрощает и ускоряет процесс обучения, экономя ресурсы и повышая качество результатов. На реальных данных из набора V2XPnP-Seq TurboTrain показал существенное улучшение производительности по сравнению с состоянием техники, что демонстрирует его эффективность в задачах многоагентного представления и прогнозирования.
Abstract
End-to-end training of multi-agent systems offers significant advantages in
improving multi-task performance. However, training such models remains
challenging and requires extensive manual design and monitoring. In this work,
we introduce TurboTrain, a novel and efficient training framework for
multi-agent perception and prediction. TurboTrain comprises two key components:
a multi-agent spatiotemporal pretraining scheme based on masked reconstruction
learning and a balanced multi-task learning strategy based on gradient conflict
suppression. By streamlining the training process, our framework eliminates the
need for manually designing and tuning complex multi-stage training pipelines,
substantially reducing training time and improving performance. We evaluate
TurboTrain on a real-world cooperative driving dataset, V2XPnP-Seq, and
demonstrate that it further improves the performance of state-of-the-art
multi-agent perception and prediction models. Our results highlight that
pretraining effectively captures spatiotemporal multi-agent features and
significantly benefits downstream tasks. Moreover, the proposed balanced
multi-task learning strategy enhances detection and prediction.
Ссылки и действия
Дополнительные ресурсы: