Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes

#### Контекст Human-robot teaming (HRT) представляет собой взаимодействие между роботами и людьми, в основном для выполнения задач в условиях близкого соприкосновения. Одна из самых важных задач в данной области — human-to-robot handover (передача предметов роботу человеком). Эта задача требует точности и надежности в поведении робота, чтобы избежать коллизий и обеспечить безопасность во время передачи. Однако, создание эффективных моделей поведения робота для такой задачи требует больших объемов данных и проведения многочисленных робото-демонстраций. Это вызывает проблему коллекции данных в реальном мире и ограничения в симуляторах из-за различий визуального пространства. Нашим целью является развитие метода, позволяющего обучать роботу для handover-задач из сырых данных, при этом исключая необходимость физической демонстрации в реальном мире. #### Метод Мы предлагаем метод обучения HRT-политик, основанный на генерации демонстрационных данных с использованием Gaussian Splatting. Мы используем RGB-камеру, установленную на роботской хватке, для получения изображений в реальном времени. Затем, мы используем метод Gaussian Splatting для реконструкции сцены, в которой робот получает предмет с человека. Этот подход позволяет генерировать данные визуального положения робота в пространстве, не используя физический симулятор. После этого мы обучаем модель распознавания действий на основе этих данных. Метод также использует детальную архитектуру для обеспечения точности и надежности в процессе обучения. #### Результаты Мы проводим эксперименты для оценки нашего метода в двух средах: сценах, полученных с помощью Gaussian Splatting, и реальном мире. Для обучения используются RGB-данные, полученные с камеры-хватки, и в реальном мире мы проводим тестирование на живых людях. Наши результаты показывают, что наш подход позволяет роботу научиться правильно получать предметы в реальных условиях, избегая коллизий и обеспечивая стабильность хватки. Это демонстрирует эффективность нашей модели в условиях близкого соприкосновения и подтверждает ее пригодность для реального применения в HRT. #### Значимость Метод, предложенный в нашей работе, имеет широкие приложения в сфере HRT, особенно в задачах, требующих близкого сотрудничества между роботом и человеком. Он предоставляет способ обучения роботов без необходимости ручных демонстраций в реальном мире, что существенно уменьшает затраты на обучение. Это особенно важно в ситуациях, когда доступ к реальному роботу ограничен. Благодаря нашей модели, роботы могут быть обучены быстрее и эффективнее, что имеет потенциал для улучшения производительности в различных