LCMF: Lightweight Cross-Modality Mambaformer for Embodied Robotics VQA

## Контекст Область исследования, называемая **Embodied Robotics Visual Question Answering (EQA)**, является ключевой в области **Embodied Intelligence**. Она ставит перед собой цель развития роботов, которые могут смешивать визуальные сигналы, текстовые команды и другие сенсорные данные для умных решений. Несмотря на прогресс, существуют технические проблемы, такие как эффективное объединение разных типов данных (например, видео и текст) и высокая стоимость вычислений в ресурс-ограниченных средах. Эти проблемы становятся ключевыми ограничениями для распространенного применения таких систем в реальных условиях. Наше исследование стремится решить эти проблемы, создав эффективную модель для отображения и обработки многомодальных сигналов. ## Метод Мы предлагаем **LCMF (Lightweight Cross-Modality Mambaformer)**, основанную на модуле **Mamba**, которая включает **многоуровневый кросс-модальный механизм общего параметра**. Этот подход позволяет добиться эффективного объединения разных видов данных (например, видео и текста) благодаря параметрическому контролю. Мы также используем **Cross-Attention** и **Selective State Space Models (SSMs)**, чтобы добиться лучшего понимания и семантического синхронизации между модальностями. Эта архитектура обеспечивает высокую эффективность с выборочным параметрическим контролем, что позволяет решать задачи в ресурс-ограниченных средах. ## Результаты Мы провели эксперименты для проверки эффективности нашей модели LCMF в задачах **Visual Question Answering (VQA)** и **Embodied Question Answering (EQA)**. Данные для экспериментов были получены из наборов данных, содержащих видео и текстовые команды. Модель LCMF показала **74.29% точность в VQA** и достигла **конкурентных результатов в EQA**, особенно в сравнении с другими моделями. Заметно, что наше решение потребляет **4.35 раз меньше вычислительных ресурсов (FLOPs)** и использует **меньше параметров**, чем другие модели с одинаковыми результатами. ## Значимость Наша модель LCMF имеет широкие **применения в Human-Robot Interaction (HRI)**. Она может использоваться для развития роботов, которые взаимодействуют с людьми, понимают их команды и делают решения на основе многомодальных сигналов. Преимущества LCMF включают **высокую точность** и **низкую вычислительную стоимость**, что делает ее подходящей для ресурс-ограниченных сред, таких как мобильные роботы и умные дома. Этот подход может сильно повлиять на развитие **робототехники** и **интеллектуальных систем**. ## Выводы Мы успешно разработали **LCMF**, модель с легковесной архитектурой, которая эффективно объединяет различные виды данных для многомодальных задач. Модель показала высокую точность в **VQA** и **EQA**, при этом значитель