Foundation Models for Autonomous Driving Perception: A Survey Through Core Capabilities

## Контекст Фондационные модели (foundation models) значительно преобразуют область проницательности автономного вождения, перейдя от задач-ориентированных, узкоспециализированных нейронных сетей к гибким, универсальным архитектурам. Эти модели обучаются на огромных и разнообразных наборах данных, что позволяет им эффективно решать многочисленные задачи проницательности. Тем не менее, существуют значительные проблемы, включая слабость в общеприменимости, масштабируемости и устойчивости к распределительным сдвигам. Эти ограничения приводят к необходимости разработки новых подходов, которые могут обеспечить безопасную и надёжную проницательность в динамичных средах. ## Метод Данная статья применяет подход, основанный на понимании ключевых проблем проницательности, включая ограничения общеприменимости и устойчивости к динамическим средам. Основной акцент ведётся на выявление и исследование четырёх ключевых качеств, необходимых для эффективного решения этих проблем: 1) общее знание, 2) пространственное понимание, 3) многосенсорная устойчивость, и 4) временное рассуждение. Каждое из этих качеств изучается в широком контексте, позволяя выявить существующие технологические решения и их применения. ## Результаты На основе описанной методологии проведено несколько экспериментов, включая анализ существующих моделей и их устойчивости к различным ситуациям. Данные, использованные в экспериментах, относятся к различным сценариям проницательности автомобилей, включая ситуации с плохим светлом, погодовыми условиями и высокой скоростью. Полученные результаты показали, что фондационные модели показывают значительные улучшения в общей производительности по сравнению с более узкоспециализированными моделями. Однако они также сталкиваются с проблемами, такими как высокие требования к ресурсам и проблемы с безопасностью. ## Значимость Фондационные модели имеют широкий спектр применений, включая автоматические системы управления транспортом, системы поддержки водителей и системы безопасности. Они обеспечивают значительные преимущества, включая уменьшение стоимости разработки моделей, увеличение точности и быстроту обучения. Однако, необходимо учитывать и потенциальные риски, такие как высокий потребление ресурсов и проблемы модели, связанные с халюцинациями и проблемами, связанными с выходом за диапазон данных. ## Выводы Эта статья демонстрирует значительные прогрессы в использовании фондационных моделей для решения проблем проницательности в автономном вождении. Однако, возникают задачи, связан