Pure Vision Language Action (VLA) Models: A Comprehensive Survey

#### Контекст На первый взгляд, роботизация простых задач вокруг нас, таких как уборка или подготовка еды, может показаться простой задачей. Однако сложность повышается значительно, когда эти задачи требуют адаптивности, активного взаимодействия с субъектами и обстоятельствами. Роботы должны понимать инструкции, анализировать среду и принимать решения в реальном времени. Одним из ключевых подходов здесь являются Vision Language Action (VLA) модели, которые превратили традиционные Vision Language Models (VLMs) из простого генератора последовательностей в активных агентов, способных действовать в сложных и динамических средах. Эта статья посвящена подробной обзорной исследовательской работе по VLA моделям, основываясь на обзоре более трехсот работ, и нацелена на получение четкой категоризации, а также систематического обзора существующих исследований в этой области. #### Метод VLA модели представляют собой комплексные системы, которые объединяют в себе детальный анализ визуальных и текстовых сигналов с активным принятием решений и действием. Методология начинается с понимания требований к задаче, затем предлагает архитектуру, которая объединяет нейросетевые модели для визуального и текстового понимания, а также агента для принятия решений и контроля поведения. Эталонные решения включают использование авторегрессионных моделей, диффузионных моделей, реинфорсмент-based алгоритмов, и вместо-моделей. Дополнительно, для подтверждения эффективности, разработчики VLA моделей используют наборы данных, такие как ALFRED и R2-D2, а также симуляционные платформы, такие как AI2-THOR и Gibson. Эти инструменты позволяют проводить эксперименты в управляемых условиях, упрощая оценку показателей производительности. #### Результаты В результате исследований было установлено, что VLA модели демонстрируют высокую эффективность в сценариях, требующих активного взаимодействия с окружением. Например, в задаче подготовки еды или уборки, модели способны распознавать объекты, интерпретировать инструкции, и выполнять действия в сильно различных условиях. Особенно выдающимися результатами показались модели, основанные на авторегрессионных моделях, которые продемонстрировали высокую точность в динамически изменяющихся средах. Эти модели также доказали свою эффективность в задачах с использованием реинфорсмента, что позволяет роботам оптимизировать свои действия в процессе. #### Значимость VLA модели открывают новые возможности в области универсальных роботизированных решений. Они могут использоваться в области управления домашними роботами, в сфере услуг, где робот должен