CoVeRaP: Cooperative Vehicular Perception through mmWave FMCW Radars
2508.16030v1
cs.CV, cs.AI, cs.LG, cs.NI
2025-08-26
Авторы:
Jinyue Song, Hansol Ku, Jayneel Vora, Nelson Lee, Ahmad Kamari, Prasant Mohapatra, Parth Pathak
Резюме на русском
## Контекст
Проблема ограниченности точности детектирования объектов в системах автоматического управления автомобилями в условиях плохой видимости и воздействия погодных факторов, таких как дождь и глянцевые поверхности, остается актуальной. Одним из решений этой проблемы являются мм-волновые ФМСВ-радары. Однако эти радары обладают своими ограничениями, в том числе низкая плотность обнаруженных точек и значительное количество шума в полученных данных. Для улучшения показателей точности и надежности детектирования объектов в автомобильных системах используется метод совместной обработки данных сразу из нескольких радаров, установленных на разных автомобилях, что позволяет получить более полное и точное трёхмерное представление окружающей среды.
## Метод
Предложенный подход к решению этой проблемы основывается на создании совместной сети обработки данных, включающей в себя множество радаров, размещённых на разных автомобилях. Для начала, данные, полученные из каждого радара, добавляются в общую структуру, которая позволяет их взаимодействовать и уточнять сигналы. Для этого применяется решение, основанное на архитектуре PointNet, которая использует глубокую нейронную сеть для выделения ключевых фичей из сигнала. Кроме того, в рамках этого подхода используется синхронизация времени, чтобы обеспечить корреляцию данных из разных радаров. Благодаря этому, получается улучшенное трёхмерное представление окружающей среды, что позволяет улучшить точность детектирования объектов.
## Результаты
Для проверки эффективности предложенной методологии проводились эксперименты, в которых использовались данные, собранные с различных автомобилей. Эти данные включали в себя как точки, полученные от радаров, так и данные от камер и GPS. Исследователи проводили сравнение различных решений, в том числе работы с радаром по отдельности, а также совместным использованием данных из нескольких радаров. Результаты экспериментов показали, что способ, основанный на совместной обработке данных из нескольких радаров, даёт значительное улучшение точности детектирования объектов. Например, используя определённые модификации архитектуры PointNet, удалось увеличить метрику mAP (mean Average Precision) в десять раз при интервале доверия 0.9.
## Значимость
Предложенный подход может быть применён в различных автотранспортных системах, включая робототранспортные системы и системы коллективного управления автомобилями. Он оказывается эффективным в условиях плохой видимости, так как позволяет улучшить точность детектирования объектов, используя данные из нескольких радаров. В результате, это может способствовать
Abstract
Automotive FMCW radars remain reliable in rain and glare, yet their sparse,
noisy point clouds constrain 3-D object detection. We therefore release
CoVeRaP, a 21 k-frame cooperative dataset that time-aligns radar, camera, and
GPS streams from multiple vehicles across diverse manoeuvres. Built on this
data, we propose a unified cooperative-perception framework with middle- and
late-fusion options. Its baseline network employs a multi-branch PointNet-style
encoder enhanced with self-attention to fuse spatial, Doppler, and intensity
cues into a common latent space, which a decoder converts into 3-D bounding
boxes and per-point depth confidence. Experiments show that middle fusion with
intensity encoding boosts mean Average Precision by up to 9x at IoU 0.9 and
consistently outperforms single-vehicle baselines. CoVeRaP thus establishes the
first reproducible benchmark for multi-vehicle FMCW-radar perception and
demonstrates that affordable radar sharing markedly improves detection
robustness. Dataset and code are publicly available to encourage further
research.