Vehicle-to-Infrastructure Collaborative Spatial Perception via Multimodal Large Language Models

#### Контекст Область взаимодействия машины-инфраструктура (Vehicle-to-Infrastructure, V2I) является ключевой для развития самовывозных транспортных систем. Эффективная сигнальная обратная связь между машиной и инфраструктурой обеспечивает управление связью, оптимизацию базовых сетей и низкозадержковые связи. Однако проблемами, связанными с воспроизведением сетевых метрик качества связи, борются при проектировании этих систем. Это обусловлено сложностями в моделировании окружающей среды и различных типов взаимодействий. Наблюдается необходимость в моделях, реализующих трехмерное пространственное понимание и адаптивность к сложным сценариям. #### Метод Предлагается рамка, интегрирующая библиотеку multimodal large language models (MLLMs) и новую схему bird's-eye view (BEV) injection. Эта схема позволяет конструировать BEV-представление окружающей среды, основываясь на данных, собираемых соседними машинами. BEV-данные, состоящие из RGB, LiDAR, GPS и сигналов связи, объединяются с входом от одной машины для повышения контекста. Для эмуляции реальных условий разработан синтетический комплекс, который синхронизирует CARLA-симулятор с MATLAB-based ray tracing. Этот комплекс позволяет производить моделирование различных сценариев, включая разные метеоусловия и условия дорожного движения, а также генерировать значимые результаты для обучения и тестирования моделей. #### Результаты В рамках трех задач — классификации линии связи (LoS/NLoS), прогнозирования доступности связи и прогнозирования блокировок — проверена эффективность предлагаемого подхода. Эксперименты проводились в синтетической среде, где BEV-инжекция улучшила точность классификации LoS/NLoS на 13.9% по сравнению с базовой моделью, основанной только на себе. В условиях темноты и дождя, когда работа системы обычно становится труднее, увеличение выигрыша достигало 32.7%. Эти результаты показывают, что BEV-инжекция повышает надежность и точность модели, даже в сложных сценариях. #### Значимость Предложенная модель имеет широкие возможности применения в системах V2I, включая маршрутизацию, управление связью и оптимизацию сетей. Выгоды заключаются в улучшении прогнозирования качества связи, увеличении надежности и эффективности систем. В будущем могут проводиться исследования по расширению моделей для включения других типов мультимодальных данных, а также по улучшению их возможностей в условиях реального трафика. #### Выводы Предложенный подход, использующий BEV-инжекцию в multimodal large language models, показал существенный выигрыш в прогнозировании ка