EmbodiedOneVision: Interleaved Vision-Text-Action Pretraining for General Robot Control

## Контекст Область исследования рассматривает проблему развития общего-целевых роботов с интеллектуальными возможностями, полностью адаптированных к работе в сложных, многомодальных средах. На данный момент существуют модели, которые объединяют визуальные, текстовые и действительные данные (Vision-Language-Action, VLA), чтобы обеспечить контроль роботов в различных задачах. Однако они до сих пор не достигли уровня гибкости и универсальности, который можно наблюдать у человека. Это ограничение вызвано отсутствием моделей, которые могут эффективно обрабатывать взаимодействия между визуальными, текстовыми и действительными сигналами в реальном времени. Поэтому введено новое подходящее исследование, которое стремится решить эту проблему и достичь этапов, близких к человеческим возможностям. ## Метод Разработка EO-Robotics базируется на двух основных ключевых составляющих. Во-первых, это единая архитектура, которая обрабатывает разных типов входных данных, такими как изображения, текст, видео и действия, независимо от их формата. Во-вторых, это огромный и качественно высокодостоверный набор данных EO-Data1.5M, содержащий более 1.5 миллиона примеров, специально разработанный для тренировки модели на объединенном понимании визуальных, текстовых и действительных сигналов. Методология заключается в использовании синергии между декодированием последовательностей и методом денойсинга потоков, чтобы обеспечить эффективную генерацию действий и объединенное понимание в кадре эмбодьд системы. ## Результаты Для тестирования данной модели были проведены несколько экспериментов на различных длинных задачах, со сложными манипуляциями и объектами в разных средах. Модель EO-1 продемонстрировала высокую точность и гибкость в решении задач, превосходя существующие модели во времени реакции и точности выполнения задач. В частности, модель показала улучшенную возможность объединения многомодальных сигналов (визуальных и текстовых) и гибкость в гибком поведении в открытых средах. Эти результаты были подтверждены экспериментально, показав высокую производительность в различных испытаниях. ## Значимость Данная работа применима к многим областям, где требуется умение обрабатывать и интерактивно взаимодействовать с многомодальными данными, таких как автоматизация производственных процессов, управление роботами в частных домах или сельскохозяйственных работах. Особенно будет цениться в сфере создания общего-целевых моделей, которые могут осуществлять контроль над телом и сенсорными сигналами, а также решать задачи реального мира в реальном времени. Основно