Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration

## Контекст Декстерная манипуляция человека основывается на тактильных и кинематических ощущениях, которые обеспечивают надежные захваты предметов. Однако передача таких сенсорных сигналов на уровне моторных действий для роботских рук остается нерешенной проблемой. Недостаток универсальных алгоритмов, которые могли бы эффективно передавать человеческие гриппинг-скиллы на нейрохирургические роботы, требует развития новых подходов. Наша мотивация заключается в разработке простого, но эффективного метода для получения и передачи гриппинг-скиллов человека на роботы, чтобы увеличить уровень интеграции роботов в повседневную сферу. ## Метод Мы предлагаем нейросетевую модель, которая решает задачу передачи гриппинг-скиллов с помощью графовых структур и LSTM-слоя. Интегрируя данные от датчиков гантели, мы формируем универсальное представление данных, которое может быть использовано как для человеческих рук, так и для роботских. Модель основывается на многомерных субграфных конволюциях и аттенционных LSTM-слоях для выделения спатспросио-временных признаков. Наши архитектурные решения позволяют обучать модель на примерах человеческих рук и переносить их на роботы без потери качества. ## Результаты Мы проводили эксперименты на широком спектре задач, включая захват деформируемых предметов. Результаты показали, что наш подход превосходит другие методы по уровню устойчивости и точности захвата. Мы протестировали нашу модель на роботах со складывающимися пальцами и статическими пальцами. Итоговые результаты подтверждают значительный урпах модели в гриппинг-скилле с низким количеством ошибок и максимальной универсальностью. ## Значимость Наш подход может быть применен в различных сферах, включая нейрохирургию, где роботы должны эффективно интерактировать с объектами в трехмерном пространстве. Он предоставляет высокую точность и универсальность, что позволяет централизованно управлять роботом в различных сценариях. Мы также отмечаем, что наш подход может улучшить качество жизни за счет мобилизации роботов в повседневной сфере. ## Выводы Мы разработали метод, который позволяет эффективно передавать гриппинг-скиллы с помощью графовых структур и LSTM. Модель стабильно работает в разных условиях и демонстрирует высокую универсальность. В дальнейшем мы планируем расширить нашу модель, включив в нее более сложные задачи, такие как динамическая синхронизация рук и роботов.