Investigating Traffic Accident Detection Using Multimodal Large Language Models

## Контекст Транспортная безопасность является критически важной проблемой в мировом масштабе, требующей эффективных и оперативных мер для снижения рисков и оказания помощи жертвам. Одним из ключевых аспектов транспортной безопасности является систематическая и точная детекция аварийных ситуаций в режиме реального времени. Инфраструктурные видеокамеры, развернутые во всемирных городах, предлагают широкие возможности для автоматизированного мониторинга и детекции аварий. Однако существующие подходы часто требуют обширных массивов меток данных для обучения моделей, что ограничивает их применение в реальных условиях. В данной работе рассматривается мощность многомодальных больших языковых моделей (MLLMs) для детекции и описания трафических аварий, используя изображения с инфраструктурных камер. Этот подход снижает необходимость в больших датасетах с метками, обеспечивая более гибкий и эффективный метод для решения проблемы транспортной безопасности. ## Метод Для эффективного использования MLLMs был разработан процесс оценки и модификации входных данных, чтобы оптимизировать вывод модели. Были использованы следующие технические решения: 1. **Модель YOLO** — для детекции объектов на изображениях в режиме реального времени. 2. **Deep SORT** — для последовательного отслеживания объектов на серии кадров. 3. **Segment Anything (SAM)** — для точного изолирования объектов внутри кадров. Эти инструменты были интегрированы в процесс подготовки входных данных для моделей MLLMs, чтобы улучшить точность и объяснимость результатов. Были проведены эксперименты с помощью симулированного DeepAccident датасета из CARLA, который предлагает реалистичные сценарии транспортных происшествий. Модели Gemini 1.5, 2.0, Gemma 3 и Pixtral были оценены на способности к точной детекции и описанию транспортных аварий без дополнительного файн-тюнинга. ## Результаты Экспериментальные исследования показали, что Pixtral показала наилучшие результаты, достигнув F1-скора 71% и реколл 83%. Модели Gemini 1.5 и 2.0 продемонстрировали высокую точность с помощью усовершенствованных запросов, хотя Gemini 1.5 потеряла в F1-скоре и реколлекции. Gemma 3 продемонстрировала более устойчивую и балансированную производительность с минимальными колебаниями. Эти результаты указывают на потенциал MLLMs для улучшения автоматизированных систем мониторинга транспорта, особенно когда интегрируются с современными техническими подходами. ## Значимость Результаты работы могут быть применены в различных сферах, включая автоматизированные системы мониторин