OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation

## Контекст Egocentric human videos, представляющие скелетовские структуры и действия, являются эффективным источником демонстрационных данных для технологий иммитационного обучения. Однако, существующие корпуса часто не содержат точных, временно определенных описаний действий или информации об действиях рук, что создает трудности для исследования рукоподобных манипуляций. Для адресации этой проблемы, мы предлагаем OpenEgo — крупный мультимодальный корпус, содержащий манипуляции с руками, высококачественными рукопозиционированиями и целевыми действиями. ## Метод OpenEgo объединяет 1107 часов видео данных, включая 6 различных многомодальных датасетов по декстеросой манипуляции в 600+ средах. Мы вводим стандартизированные рукопозиционирования, которые гарантируют точные темпоральные описания действий. Кроме того, мы назначаем каждому действию описательные темпорально определенные разметки (action primitives), которые могут быть запусканы с помощью данных руки. Эти разметки позволяют позиционировать руки и выполнять целевые действия. ## Результаты Мы проводим эксперименты с OpenEgo, используя методы языковоностной условной иммитации обучения (CLIPort), чтобы прогнозировать рукопозиционирования с руками и выполнять действия. Мы используем данные из OpenEgo для обучения моделей, и опробуем эффективность наших подходов на репродуктивных задачах манипуляции. ## Значимость OpenEgo может использоваться в сценариях когнитивных роботов, визуально-языковых моделях и других визуально-активных исследованиях. Он позволяет значительно упростить процесс иммитационного обучения, повысить точность прогнозирования действий рук и обеспечить репродуцируемый инструментарий для визуально-языковых моделей. Это может иметь большое влияние на прогресс робототехники и управления ходом в реальных средах. ## Выводы Открытый корпус OpenEgo, представленный в этой работе, является крупным ресурсом для исследований в области визуально-языковых моделей и иммитационного обучения. Мы показываем, что наш подход действителен для решения проблем с иммитацией декстеросой манипуляции. Мы планируем дальнейшие исследования для расширения OpenEgo и улучшения его возможностей в области рукоподобных манипуляций.