To New Beginnings: A Survey of Unified Perception in Autonomous Vehicle Software

2508.20892v1 cs.CV, cs.RO 2025-08-30
Авторы:

Loïc Stratil, Felix Fent, Esteban Rivera, Markus Lienkamp

Резюме на русском

## Контекст Автоматизированная система управления транспортными средствами широко применяется в различных областях, включая городской транспорт, доставку товаров и специальные технологии. Одной из ключевых задач этой системы является высококачественное восприятие окружающей среды, которое включает в себя такие подзадачи, как детекция объектов, слежение за их движением и прогнозирование. Обычно эти подзадачи решаются через модульные пайплайны, где каждая задача выполняется отдельно. Однако эти модули часто приводят к росту ошибок взаимодействия и трудностям в интеграции результатов. Унифицированная перцепция (unified perception) предлагает решение этих проблем, объединяя подзадачи в единую систему, что повышает точность, эффективность и сохраняет интерпретируемость результатов. Эта статья посвящена широкому обзору этого подхода, его преимуществ и перспектив. ## Метод Унифицированная перцепция включает в себя несколько парадигм, категоризирующихся по различным признакам. В первую очередь, важны распределение задач (task allocation), формализация слежения (tracking formulation) и способ представления информации (representation flow). Эти аспекты позволяют выделить три основных парадигмы: Early Unified Perception, Late Unified Perception и Full Unified Perception. Методология основывается на подробной определенности этих парадигм и систематическом анализе их наиболее известных реализаций. Алгоритмы рассматриваются с учетом их архитектуры, стратегий обучения, используемых данных и открытого доступа к исходному коду. ## Результаты Для иллюстрации различных парадигм были проведены сравнительные эксперименты, использующие различные данные, включая как синтетические, так и реальные наборы данных. Основными показателями эффективности стали точность детекции, стабильность слежения и точность прогноза. Результаты показали, что Full Unified Perception привносит существенные преимущества в синтезе результатов, но при этом имеет более высокую сложность обучения. Early и Late Unified Perception, в свою очередь, демонстрируют более простой подход с меньшей сложностью, но при этом могут испытывать трудности в интеграции результатов. ## Значимость Этот подход может быть применен во многих областях, включая городской транспорт, доставку товаров, специальные технологии и даже робототехнику. Он предлагает значительные преимущества в области улучшения точности, эффективности и общей работоспособности системы. Помимо этого, унифицированная перцепция может способствовать созданию более устойчивых и интерактивных систем, что в последние годы становится все более важной задачей в мире автоматизированного транспо

Abstract

Autonomous vehicle perception typically relies on modular pipelines that decompose the task into detection, tracking, and prediction. While interpretable, these pipelines suffer from error accumulation and limited inter-task synergy. Unified perception has emerged as a promising paradigm that integrates these sub-tasks within a shared architecture, potentially improving robustness, contextual reasoning, and efficiency while retaining interpretable outputs. In this survey, we provide a comprehensive overview of unified perception, introducing a holistic and systemic taxonomy that categorizes methods along task integration, tracking formulation, and representation flow. We define three paradigms -Early, Late, and Full Unified Perception- and systematically review existing methods, their architectures, training strategies, datasets used, and open-source availability, while highlighting future research directions. This work establishes the first comprehensive framework for understanding and advancing unified perception, consolidates fragmented efforts, and guides future research toward more robust, generalizable, and interpretable perception.

Ссылки и действия