SpaRC-AD: A Baseline for Radar-Camera Fusion in End-to-End Autonomous Driving
2508.10567v1
cs.CV, cs.RO
2025-08-16
Авторы:
Philipp Wolters, Johannes Gilg, Torben Teepe, Gerhard Rigoll
Резюме на русском
## Контекст
Autonomous driving системы стремятся к улучшению производительности с помощью унифицированной оптимизации перцепции, моделирования движения и планирования. Однако визуальные подходы сталкиваются с ограничениями в плохих погодных условиях, частичных заслонках и точном определении скорости, которые являются критичными для безопасности в сценариях столкновений. SpaRC-AD предлагает решение в виде фреймворка для снижения рисков, используя радиолокационные данные для улучшения съемки и методов планирования.
## Метод
SpaRC-AD — это сплайн-ориентированный фреймворк, который использует запросы для синергии вида и радиолокации. Он включает 3D-спарсинг фотограмм, применяет sparse 3D feature alignment, и использует doppler-based velocity estimation для точного построения 3D сцены. Метод использует обновленные анкоры для тракторий и полилиний карты, которые способствуют точному планированию. Основные элементы: radar-camera детектирование и моделирование движения.
## Результаты
SpaRC-AD показывает значительные улучшения по сравнению с визуальными базами, включая 3D detection (+4.8% mAP), multi-object tracking (+8.3% AMOTA), online mapping (+1.8% mAP), motion prediction (-4.0% mADE), and trajectory planning (-0.1m L2 and -9% TPC). Эксперименты проводились на nuScenes, T-nuScenes и Bench2Drive с помощью реальных данных и симуляторов, подтверждая высокую точность и устойчивость в сложных сценариях.
## Значимость
SpaRC-AD может применяться в сценариях столкновений, требующих точного разделения объектов и планирования траектории. Он показывает преимущества в сложных условиях, таких как дождь, снег и туман. Фреймворк может улучшить безопасность и эффективность в автономном вождении, обеспечивая предсказание траекторий и столкновений.
## Выводы
SpaRC-AD достигает высокой точности и стабильности в трех мерной окружающей среде, используя 3D-спарсинг и допплер-эффект. Его мощь в критичных сценариях демонстрирует потенциал для улучшения систем автономного вождения, а его исходный код доступен для дальнейших исследований.
Abstract
End-to-end autonomous driving systems promise stronger performance through
unified optimization of perception, motion forecasting, and planning. However,
vision-based approaches face fundamental limitations in adverse weather
conditions, partial occlusions, and precise velocity estimation - critical
challenges in safety-sensitive scenarios where accurate motion understanding
and long-horizon trajectory prediction are essential for collision avoidance.
To address these limitations, we propose SpaRC-AD, a query-based end-to-end
camera-radar fusion framework for planning-oriented autonomous driving. Through
sparse 3D feature alignment, and doppler-based velocity estimation, we achieve
strong 3D scene representations for refinement of agent anchors, map polylines
and motion modelling. Our method achieves strong improvements over the
state-of-the-art vision-only baselines across multiple autonomous driving
tasks, including 3D detection (+4.8% mAP), multi-object tracking (+8.3% AMOTA),
online mapping (+1.8% mAP), motion prediction (-4.0% mADE), and trajectory
planning (-0.1m L2 and -9% TPC). We achieve both spatial coherence and temporal
consistency on multiple challenging benchmarks, including real-world open-loop
nuScenes, long-horizon T-nuScenes, and closed-loop simulator Bench2Drive. We
show the effectiveness of radar-based fusion in safety-critical scenarios where
accurate motion understanding and long-horizon trajectory prediction are
essential for collision avoidance. The source code of all experiments is
available at https://phi-wol.github.io/sparcad/
Ссылки и действия
Дополнительные ресурсы: