When Autonomous Vehicle Meets V2X Cooperative Perception: How Far Are We?

2509.24927v1 cs.AI, cs.RO, cs.SE 2025-10-01
Авторы:

An Guo, Shuoxiao Zhang, Enyi Tang, Xinyu Gao, Haomin Pang, Haoxiang Tian, Yanzhou Mu, Wu Wen, Chunrong Fang, Zhenyu Chen

Резюме на русском

## Контекст В последние годы прогресс в области глубокого обучения и телекоммуникаций открыл возможности для развития систем кооперативного взаимодействия между автомобилями и их окружающей средой (Vehicle-to-Everything, V2X). Эти системы предназначены для улучшения ограниченного полезного поля обнаружения (Field of View, FoV) и расширения возможностей одиночных систем зрительного восприятия, особенно в условиях видимости кругов или при объектах, уехавших за пределы диапазона дальности датчиков. Однако существуют серьезные проблемы: недостаточное понимание структуры ошибок в кооперативных системах и недостаточное исследование особенностей их работы в реальных условиях. Наше исследование направлено на изучение этих проблем и на поиск решений для их устранения. ## Метод Мы провели подробный анализ работы кооперативных систем восприятия, используя разнообразные данные и варианты симуляции. Основной архитектурой исследования является методология системной оценки, включающая в себя эмпирическую оценку различных компонентов системы, включая разные сети связи, типы датчиков и варианты комбинаций данных. Мы определили шесть типов ошибок, встречающихся в системах кооперативного восприятия, и проанализировали их причины. Также была проведена систематическая оценка производительности разных схем объединения данных и связей между агентами. ## Результаты Наши эксперименты показали, что системы, основанные на LiDAR, обеспечивают наивысшую производительность восприятия. Мы также обнаружили, что разные схемы объединения данных (например, Vehicle-to-Infrastructure (V2I) и Vehicle-to-Vehicle (V2V)) дают разные результаты в разных условиях связи. Было обнаружено, что увеличение количества ошибок в кооперативных системах приводит к большему числу нарушений правил дорожного движения. Были также выявлены уязвимости в системах, которые остаются незаметными в условиях лабораторных испытаний, но становятся очевидными при использовании в реальных условиях. ## Значимость Наши результаты могут быть использованы для улучшения разработки и оптимизации систем кооперативного восприятия. Они открывают пути для более точного понимания ошибок и возможностей для их устранения. Эти результаты имеют большое значение для развития безопасного и надежного транспортного системы, особенно в условиях современных городов, где необходимо обеспечить высокую точность и стабильность восприятия. ## Выводы Мы сделали первые шаги в изучении ошибок в кооперативных системах восприятия. Наши находки подтверждают ценность разных типов датчиков и схем объединения данных, а

Abstract

With the tremendous advancement of deep learning and communication technology, Vehicle-to-Everything (V2X) cooperative perception has the potential to address limitations in sensing distant objects and occlusion for a single-agent perception system. V2X cooperative perception systems are software systems characterized by diverse sensor types and cooperative agents, varying fusion schemes, and operation under different communication conditions. Therefore, their complex composition gives rise to numerous operational challenges. Furthermore, when cooperative perception systems produce erroneous predictions, the types of errors and their underlying causes remain insufficiently explored. To bridge this gap, we take an initial step by conducting an empirical study of V2X cooperative perception. To systematically evaluate the impact of cooperative perception on the ego vehicle's perception performance, we identify and analyze six prevalent error patterns in cooperative perception systems. We further conduct a systematic evaluation of the critical components of these systems through our large-scale study and identify the following key findings: (1) The LiDAR-based cooperation configuration exhibits the highest perception performance; (2) Vehicle-to-infrastructure (V2I) and vehicle-to-vehicle (V2V) communication exhibit distinct cooperative perception performance under different fusion schemes; (3) Increased cooperative perception errors may result in a higher frequency of driving violations; (4) Cooperative perception systems are not robust against communication interference when running online. Our results reveal potential risks and vulnerabilities in critical components of cooperative perception systems. We hope that our findings can better promote the design and repair of cooperative perception systems.

Ссылки и действия