AIRoA MoMa Dataset: A Large-Scale Hierarchical Dataset for Mobile Manipulation

## Контекст Мобильная манипуляция роботов представляет собой ключевую задачу в рамках интеллектуальных систем-роботов, целью которых является полноценное взаимодействие с объектами в неуправляемой среде. Несмотря на успехи в развитии технологий контроля и распознавания объектов, устойчивая манипуляция с использованием силы остается вызовом. Основной проблемой является нехватка данных, которые могли бы помочь в развитии алгоритмов, подходящих для решения реальных задач. Эксперименты показывают, что достижение высокого уровня регистрации изображений, синхронизации данных наборов движений и силовых сигналов является затруднительным, что негативно сказывается на точности и надёжности моделей. Необходима большомасштабная датасет для мобильной манипуляции, который бы позволил развитию роботов с полноценной реагированием на лангуаж и рукопожатия в реальном мире. ## Метод Для получения данных был использован робот **Human Support Robot (HSR)**, который производил различные манипуляции в реальной среде. Данные были собраны с помощью различных сенсоров, включая RGB-камеры, силовые сигналы и сигналы вращения угловых моментов. Для управления роботом использовались сигналы видео, созданные на основе технологии глубокого обучения. Для синхронизации изображений и данных силы использовалась особая методика, позволяющая получать высококачественные данные в реальном времени. Было реализовано два уровня аннотаций: подзадачи и примитивные действия, которые помогают в анализе и оптимизации алгоритмов. Датасет был стандартизирован в формате **LeRobot v2.1**, что обеспечивает единообразие данных и упрощает их использование в разных задачах. ## Результаты Для создания датасета были собраны 25,469 эпизодов, которые составляют примерно 94 часов работы робота в различных условиях. Данные включают RGB-кадры, сигналы наборов движений и сигналы силы, а также внутренние сигналы робота. Аннотации датасета позволяют выделить подзадачи и примитивные действия, что позволяет оценивать точность и надёжность моделей. Результаты экспериментов показали, что данный датасет позволяет существенно повысить точность и надёжность алгоритмов, превращая их в лучшую версию. Результаты получены на основе синхронизации данных и их анализа в реальном времени. ## Значимость Датасет **AIRoA MoMa** имеет широке применение в развитии технологий мобильной манипуляции. Он может быть использован для обучения роботов к работе в реальных условиях, а также для проверки возможностей и ограничений существующих моделей. Особенно важно синхронизированное визуально-силовое