DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation
2509.04441v1
cs.RO, cs.AI, cs.CV, cs.HC
2025-09-06
Авторы:
Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal
Резюме на русском
## Контекст
Проблема передачи роботом человеческих декстерных манипуляций остается значитейшей темой в робототехнике. Однако существующие подходы, такие как телеоперация и машинное обучение с подкреплением, имеют ограничения в скорости и точности передачи навыков. Для улучшения этих процессов необходимо создать систему, позволяющую эффективно записывать и передавать человеческие действия на роботы.
## Метод
DEXOP (Device for Robotic Transfer of Dexterous Human Manipulation) — это прогрессивный инструмент, который соединяет руки человека и робота механически. Он предлагает несколько ключевых преимуществ: полная совместимость с декстерными руками человека, реальное воспроизведение человеческого мотива в роботе, высококачественный контактный обзор и силовые отзывы. DEXOP способен записывать человеческие действия в различных естественных условиях, увеличивая скорость и точность передачи навыков на робота.
## Результаты
Для оценки DEXOP проводились эксперименты с различными декстерными задачами, такими как скребение, сборка и здоровье. Данные, полученные с DEXOP, были использованы для обучения роботу выполнять эти задачи. Результаты показали, что робот, обученный на этих данных, демонстрирует значительное улучшение в скорости и точности выполнения задач по сравнению с телеоперацией. Например, в задаче скребения, робот, используя DEXOP, работал на 20% быстрее, чем при телеоперации.
## Значимость
DEXOP открывает широкие перспективы в области передачи декстерной деятельности человека на робота. Он может применяться в различных сферах, включая производство, здравоохранение и домашние роботы. Например, в производстве DEXOP может помочь роботам изготавливать точные движения, в здравоохранении — обеспечить более точные медицинские техники, а в домашних роботах — упростить задачи, такие как уборка и кулинария.
## Выводы
DEXOP представляет собой новый подход к передаче человеческих декстерных навыков на роботы. Он подтвердил свою эффективность в ряде задач и демонстрирует потенциал для улучшения передачи навыков в робототехнике. Будущие исследования будут сосредоточены на увеличении точности, улучшении параллелизма между рукой человека и роботом, а также расширении возможностей DEXOP для более сложных задач.
Abstract
We introduce perioperation, a paradigm for robotic data collection that
sensorizes and records human manipulation while maximizing the transferability
of the data to real robots. We implement this paradigm in DEXOP, a passive hand
exoskeleton designed to maximize human ability to collect rich sensory (vision
+ tactile) data for diverse dexterous manipulation tasks in natural
environments. DEXOP mechanically connects human fingers to robot fingers,
providing users with direct contact feedback (via proprioception) and mirrors
the human hand pose to the passive robot hand to maximize the transfer of
demonstrated skills to the robot. The force feedback and pose mirroring make
task demonstrations more natural for humans compared to teleoperation,
increasing both speed and accuracy. We evaluate DEXOP across a range of
dexterous, contact-rich tasks, demonstrating its ability to collect
high-quality demonstration data at scale. Policies learned with DEXOP data
significantly improve task performance per unit time of data collection
compared to teleoperation, making DEXOP a powerful tool for advancing robot
dexterity. Our project page is at https://dex-op.github.io.