Skeleton-based sign language recognition using a dual-stream spatio-temporal dynamic graph convolutional network

#### Контекст Изолированное распознавание жестов жестовой речи (Isolated Sign Language Recognition, ISLR) сталкивается с тем, что многие жесты, несмотря на схожую морфологию, означают разные понятия. Эта проблема возникает из-за сложного взаимодействия между формой руки и траекторией движения. Существующие методы, часто основывающиеся на одной специфической системе координат, сталкиваются с трудностями при разрешении геометрической неоднозначности таких ситуаций. Данная работа предлагает DSLNet — двойной специализированный открытый архитектурный подход, который позволяет лучше разделить и моделировать различные аспекты жестов, включая морфологическую структуру и траекторию движения. #### Метод Основная идея DSLNet заключается в использовании двойной системы координат — ориентированных относительно локтевой или лицевой точки — для детального анализа жестов. Локтевая система координат используется для точного распознавания рукоположения, а лицевая — для моделирования траектории движения. Для каждой системы координат разработаны специализированные сети: топологическая сеть для анализа рукоположения и Finsler-геометрическая сеть для моделирования траектории. Эти две сети объединяются через механизм геометрического порядка, основанного на принципах оптимального транспорта. Это позволяет DSLNet использовать сильные стороны каждой системы координат в сочетании для точного распознавания жестов. #### Результаты Проведенные эксперименты показали, что DSLNet достигает высокой точности распознавания жестов на различных датасетах. На WLASL-100, WLASL-300 и LSA64 точность составила 93,70%, 89,97% и 99,79% соответственно. Этот результат был достигнут при значительно меньшем числе параметров, чем у конкурентных моделей. Это свидетельствует о высокой эффективности DSLNet в сравнении с другими методами распознавания жестов. #### Значимость Предложенный подход имеет широкую область применения в системах роботов, видеомониторинге и реализации систем для поддержки инвалидов. Одним из преимуществ является высокая точность распознавания даже при подвижности и морфологической схожести жестов. Будущие исследования станут сфокусированы на расширении DSLNet для работы с более сложными датасетами и расширении его задач, включая распознавание жестов в открытом мире. #### Выводы Разработанная DSLNet достигла совершенно нового уровня точности в распознавании жестов, которое не было достигнуто ранее. Она разделяет жесты по морфологической и динамической структуре, используя две специализированные сети. Данный подход открывает новые во