Latent Action Pretraining Through World Modeling

## Контекст Подготовка действий в контексте визуальной и языковой обработки (Vision-Language-Action, VLA) является ключевым направлением в исследованиях по управлению роботами с использованием естественного языка. Ранее популярные VLA-модели, такие как OpenVLA и $\pi_{0}$, были обучены на больших массивах ручного маркирования действий, собранных в телеоперационных условиях. Несмотря на успех этих моделей, их требования к данным и ресурсам ограничивают их применение в реальных мировых сценариях. Более поздние подходы, включая LAPA и villa-X, предлагают новые взгляды, используя латентные представления действий для неучитываемого обучения с использованием моделей визуальных изменений в кадрах. Однако эталонные модели, такие как villa-X, значительно увеличиваются в размерах, что создает сложности при их развертывании в реальных условиях. В настоящей работе предлагается новая модель-агностичная фреймворк LAWM, которая расширяет возможности обучения с помощью латентных действий, обученных с помощью моделирования мировых процессов. Это позволяет использовать видеоролики, записанные с роботов или человеком, для эффективного и самостоятельного обучения моделей видео-робот-действия к подаче языковых инструкций. ## Метод Методология LAWM включает в себя создание латентных представлений действий с помощью моделирования мировых процессов. Фреймворк использует неучитываемый подход к обучению, где видеоролики, записанные роботами или людьми, служат основой для извлечения действий. Моделирование мировых процессов позволяет извлекать латентные представления действий, которые могут быть использованы для предсказания дальнейших действий. Особенностью LAWM является его модельно-агностичный характер, что позволяет применять фреймворк к различным моделям и средам. Моделирование мировых процессов основано на автоэнкодере, который извлекает латентные действия, приведенные к сжатому представлению. Эти представления позволяют роботу распознавать действия и интерпретировать их в новых средах. ## Результаты В экспериментах LAWM был протестирован на библиотеке LIBERO и в реальном мировом условии. Модель показала существенное превосходство над моделями, обученными на ручном маркировании действий, и даже над соперничающими подходами, такими как villa-X. Особенно заметно преимущество LAWM в своей эффективности и применимости в реальном мире. Несмотря на то, что модели, такие как villa-X, показали высокую точность в управлении роботами, они требуют значительных ресурсов для работы. LAWM, в свою очередь, демонстрирует более высокую эффективность и гибкость,