A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot
2508.14994v1
cs.RO, cs.CV, cs.LG, cs.SY, eess.SY
2025-08-23
Авторы:
Murilo Vinicius da Silva, Matheus Hipolito Carvalho, Juliano Negri, Thiago Segreto, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker
Резюме на русском
#### Контекст
Роботизированные системы играют ключевую роль в решении задач в опасных и удаленных окружениях, где требуется высокая точность и безопасность. Одним из таких систем являются роботы-четвероногие роботы с кинематическими руками, обладающие мобильностью и гибкостью для выполнения сложных операций. Однако, управление такими системами во время телеоперации сопряжено с рядом трудностей. В частности, недостаток интегрированных систем детектирования препятствий и неудобство интуитивного управления роботской рукой чревато увеличением риска коллизий в узких или динамически изменяющихся рабочих местах. Это вынуждает операторов использовать квалифицированные системы управления, которые требуют высоких навыков и имеют высокий когнитивный нагрузку.
#### Метод
Для решения этих проблем предлагается инновационный взгляд на телеоперацию, основанный на визуальной оценке положения руки оператора, преобразованной в команды для роботской руки. Алгоритм построения траектории обеспечивает безопасность, предотвращая коллизии с препятствиями и самой рукой. Модель визуального определения положения воспользовалась методами машинного обучения для точного выявления положения руки. Этот подход позволяет реализовать интуитивное управление, уменьшив когнитивный нагрузку на оператора и улучшив эффективность процесса.
#### Результаты
Набор экспериментов был проведен с использованием реального робота в условиях удаленного управления. Результаты показали, что система обеспечивает точную и быструю реагирование на команды оператора, даже в условиях жесткого временного ограничения. Особое внимание уделено избежанию коллизий и сохранению безопасности во время операций. Эксперименты подтвердили, что подход хорошо подходит для индустриальных приложений, где необходима обеспеченность, точность и простота управления.
#### Значимость
Предложенный подход может быть использован в различных областях, включая промышленность, где требуется безопасность и точность, а также в сфере медицины и поисковых операций в пушечных пространствах. Он обеспечивает удобство в управлении, повышает точность и сокращает риск коллизий. Будущие исследования будут направлены на улучшение модели положения руки и расширение функций для более сложных сред.
#### Выводы
Предложенная система телеоперации, основанная на визуальном определении положения руки, является эффективным решением для управления роботской рукой в реальном времени. Она обеспечивает безопасность и точность, упрощает управление и может быть использована в различных ин
Abstract
In hazardous and remote environments, robotic systems perform critical tasks
demanding improved safety and efficiency. Among these, quadruped robots with
manipulator arms offer mobility and versatility for complex operations.
However, teleoperating quadruped robots is challenging due to the lack of
integrated obstacle detection and intuitive control methods for the robotic
arm, increasing collision risks in confined or dynamically changing workspaces.
Teleoperation via joysticks or pads can be non-intuitive and demands a high
level of expertise due to its complexity, culminating in a high cognitive load
on the operator. To address this challenge, a teleoperation approach that
directly maps human arm movements to the robotic manipulator offers a simpler
and more accessible solution. This work proposes an intuitive remote control by
leveraging a vision-based pose estimation pipeline that utilizes an external
camera with a machine learning-based model to detect the operator's wrist
position. The system maps these wrist movements into robotic arm commands to
control the robot's arm in real-time. A trajectory planner ensures safe
teleoperation by detecting and preventing collisions with both obstacles and
the robotic arm itself. The system was validated on the real robot,
demonstrating robust performance in real-time control. This teleoperation
approach provides a cost-effective solution for industrial applications where
safety, precision, and ease of use are paramount, ensuring reliable and
intuitive robotic control in high-risk environments.