The Impact of 2D Segmentation Backbones on Point Cloud Predictions Using 4D Radar
2509.19644v1
cs.CV, cs.RO
2025-09-26
Авторы:
William L. Muckelroy III, Mohammed Alsakabi, John M. Dolan, Ozan K. Tonguz
Резюме на русском
#### Контекст
LiDAR (Light Detection and Ranging) является ключевым компонентом систем автономного управления транспортным средством (AD), обеспечивая точные и детальные 3D-репрезентации окружающей среды. Однако высокая стоимость LiDAR ограничивает его широкое применение в коммерческих автомобилях. В ответ на это, альтернативные подходы, такие как использование 4D-радаров и искусственных нейронных сетей, были разработаны для создания LiDAR-подобных точечных облаков (PC) с помощью 4D-данных радаров. Эти подходы стремятся решить проблему доступности LiDAR, повысить безопасность на дорогах и улучшить сценарное понимание. Несмотря на прогресс, существуют ограничения в качестве точечных облаков, сгенерированных более простыми моделями. Это мотивирует рассмотрение более сложных моделей сегментации, которые могут повысить качество точечных облаков и, в свою очередь, улучшить производительность систем автономного управления.
#### Метод
Мы используем модульную архитектуру, состоящую из **твердой модулярной сети сегментации (SMS)**, которая использует 2D-сверточную нейронную сеть (CNN) как основу, и **сети временной корреляции (TCN)** для повышения временной корреляции точечных облаков. Для обучения и оценки используется набор данных RaDelft, содержащий сочетание 4D-данных радара и сверточных фичей LiDAR. Мы выполняем эксперименты с различными моделями сегментации, включая простые и более высокомощные архитектуры, чтобы определить оптимальную модель для повышения качества точечных облаков. В качестве метрик используются точность распознавания объектов (mAP) и средняя точность распознавания (mAR).
#### Результаты
Проведенные эксперименты показали, что сети с более высоким количеством параметров могут ухудшить качество точечных облаков из-за переобучения и неэффективного использования ресурсов. Однако оптимальные модели сегментации могут увеличить точность распознавания объектов на 23.7% в сравнении со стандартными подходами, основанными на простых моделях. Кроме того, временная сеть TCN показала существенное улучшение во временной корреляции точечных облаков, что может улучшить сценарное понимание в системах AD.
#### Значимость
Наши результаты показывают, что выбор оптимальной модели сегментации и использование TCN могут значительно улучшить качество точечных облаков, сгенерированных 4D-радаром, и, следовательно, повысить производительность систем AD. Этот подход может быть применен в различных сценариях, таких как сценарное понимание, обнаружение объектов и слежение за перемещением объектов, чтобы повысить безопасность и эффективность автомобилей с AD. Будущие исследования будут нап
Abstract
LiDAR's dense, sharp point cloud (PC) representations of the surrounding
environment enable accurate perception and significantly improve road safety by
offering greater scene awareness and understanding. However, LiDAR's high cost
continues to restrict the broad adoption of high-level Autonomous Driving (AD)
systems in commercially available vehicles. Prior research has shown progress
towards circumventing the need for LiDAR by training a neural network, using
LiDAR point clouds as ground truth (GT), to produce LiDAR-like 3D point clouds
using only 4D Radars. One of the best examples is a neural network created to
train a more efficient radar target detector with a modular 2D convolutional
neural network (CNN) backbone and a temporal coherence network at its core that
uses the RaDelft dataset for training (see arXiv:2406.04723). In this work, we
investigate the impact of higher-capacity segmentation backbones on the quality
of the produced point clouds. Our results show that while very high-capacity
models may actually hurt performance, an optimal segmentation backbone can
provide a 23.7% improvement over the state-of-the-art (SOTA).
Ссылки и действия
Дополнительные ресурсы: