Tactile Gesture Recognition with Built-in Joint Sensors for Industrial Robots

#### Контекст Гештурное распознавание в области Человеко-Роботного Взаимодействия (HRV) является активной областью исследований. Обычно для этого используются внешние сенсоры или роботские кожи. Однако данная работа изучает методы основанные на глубоком обучении, которые полагаются только на встроенные сенсоры робота. Это позволяет устранить необходимость дополнительных сенсорных систем, снижая стоимость и упрощая монтаж. Рассматриваются различные архитектуры нейронных сетей, в том числе конволюционные (CNN), чтобы оценить их влияние на точность распознавания. Данные эксперименты проводятся с целью изучения влияния представления данных и архитектуры модели на качество распознавания. #### Метод Для распознавания гештуров использовались две глубокие нейронные сети: STFT2DCNN и STT3DCNN. Они используют спектрограммы, полученные из сигналов встроенных сенсоров робота, как входные данные. Для сбора данных использовались два набора данных, отражающих различные сценарии взаимодействия робота с объектами. Модели обучались на этих наборах и оценивались на задачах контактного детектирования и классификации гештуров. Проведено сравнение результатов с другими архитектурами, включая традиционные CNN. #### Результаты Исследования показали, что модели, основанные на спектрограммах, демонстрируют значительное улучшение точности распознавания по сравнению с другими архитектурами. Также было проведено тестирование на новых позициях робота, где модели на основе спектрограмм показали более высокую общинность и точность. На двух задачах — контактного детектирования и классификации гештуров — STFT2DCNN и STT3DCNN достигли долей точности более 95%. Эти результаты демонстрируют возможность эффективного распознавания гештуров с использованием только встроенных сенсоров робота. #### Значимость Результаты показывают, что данный подход может быть применен в сценариях HRV, где внешние сенсоры являются ненужными или нежелательными. Избавление от дополнительных сенсоров повышает надежность, уменьшает стоимость и упрощает эксплуатацию. Этот метод может использоваться в промышленных роботах для улучшения взаимодействия с человеком, в сфере робототехнических систем, а также в любых ситуациях, где необходимо распознавание гештуров в реальном времени. #### Выводы На основе данных исследований были достигнуты следующие выводы: 1. Модели с подходом на основе спектрограмм эффективнее для гештурного распознавания по сравнению с другими архитектурами. 2. Спектрограммы являются ключевым