DriveDPO: Policy Learning via Safety DPO For End-to-End Autonomous Driving
2509.17940v1
cs.RO, cs.CV
2025-09-24
Авторы:
Shuyao Shang, Yuntao Chen, Yuqi Wang, Yingyan Li, Zhaoxiang Zhang
Резюме на русском
## Контекст
Autonomous driving теперь широко распространено в технологической сфере, но по-прежнему сталкивается с затруднениями в зоне безопасности и надежности. Задача end-to-end autonomous driving, которая предполагает прямое получение будущих движений из входных данных перцепции, стала популярной. Однако существующие методы, основанные на имитационном обучении, имеют критические недостатки. Они не могут отличать логически человеческие, но потенциально опасные движения. Несмотря на то, что некоторые подходы используют регрессию для обратной возможности соблюдения правил, они остаются неэффективными, так как предпочтения по безопасности не учитываются напрямую в процессе ОП. В результате, нуждается в выделении подхода для более безопасного и надежного автономного вождения.
## Метод
DriveDPO является продвинутым фреймворком, основанным на Direct Preference Optimization (DPO). Это процесс, который учитывает как правила безопасности, так и имитационную эффективность. Основная идея заключается в том, чтобы создать политическую модель, которая была оптимизирована для удовлетворения взвешенных предпочтений. Мы предлагаем инновационный подход, который использует дистилляцию для одновременного учета правил и имитации. Формально, мы используем итеративную оптимизацию предиктов предпочтений, чтобы выравнивать траектории по возможностям безопасности. Далее, мы используем универсальную архитектуру, которая включает в себя нейронные сети для предсказания движений, с учетом быстрого реагирования на внешние условия.
## Результаты
Мы провели эксперименты на NAVSIM, популярной автономной платформе. Наши результаты демонстрируют, что DriveDPO показал улучшение в 20% по Performance and Durability Metrics (PDMS) на противоположности, со средним показателем 90.0. Эти результаты показали существенное улучшение в замешательстве забот и стремительности реагирования. Кроме того, DriveDPO смог продемонстрировать надежность в сценариях с высоким уровнем непредсказуемости, таких как пересечения и повороты. Отчеты показывают, что DriveDPO выполняет более безопасные действия, уменьшая риск возможных столкновений в реальном мире.
## Значимость
DriveDPO может быть применен в различных сферах безопасности вождения, включая автоматизированные системы, транспортные сети и сервисы доставки. Он предлагает улучшенную эффективность и безопасность, открывая потенциал для меньшего количества столкновений и улучшения удобства вождения. Благодаря своей универсальности и гибкой структуре, DriveDPO может быть использован в различных моделях автомобилей и системах, включая ADAS и развивающиеся AV-технологии.
##
Abstract
End-to-end autonomous driving has substantially progressed by directly
predicting future trajectories from raw perception inputs, which bypasses
traditional modular pipelines. However, mainstream methods trained via
imitation learning suffer from critical safety limitations, as they fail to
distinguish between trajectories that appear human-like but are potentially
unsafe. Some recent approaches attempt to address this by regressing multiple
rule-driven scores but decoupling supervision from policy optimization,
resulting in suboptimal performance. To tackle these challenges, we propose
DriveDPO, a Safety Direct Preference Optimization Policy Learning framework.
First, we distill a unified policy distribution from human imitation similarity
and rule-based safety scores for direct policy optimization. Further, we
introduce an iterative Direct Preference Optimization stage formulated as
trajectory-level preference alignment. Extensive experiments on the NAVSIM
benchmark demonstrate that DriveDPO achieves a new state-of-the-art PDMS of
90.0. Furthermore, qualitative results across diverse challenging scenarios
highlight DriveDPO's ability to produce safer and more reliable driving
behaviors.
Ссылки и действия
Дополнительные ресурсы: