📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Liangjin Liu, Haoyang Zheng, Pei Zhou
#### Контекст
Изолированное распознавание жестов жестовой речи (Isolated Sign Language Recognition, ISLR) сталкивается с тем, что многие жесты, несмотря на схожую морфологию, означают разные понятия. Эта проблема возникает из-за сложного взаимодействия между формой руки и траекторией движения. Существующие методы, часто основывающиеся на одной специфической системе координат, сталкиваются с трудностями при разрешении геометрической неоднозначности таких ситуаций. Данная работа предлагает DSLNet — двойной специализированный открытый архитектурный подход, который позволяет лучше разделить и моделировать различные аспекты жестов, включая морфологическую структуру и траекторию движения.
#### Метод
Основная идея DSLNet заключается в использовании двойной системы координат — ориентированных относительно локтевой или лицевой точки — для детального анализа жестов. Локтевая система координат используется для точного распознавания рукоположения, а лицевая — для моделирования траектории движения. Для каждой системы координат разработаны специализированные сети: топологическая сеть для анализа рукоположения и Finsler-геометрическая сеть для моделирования траектории. Эти две сети объединяются через механизм геометрического порядка, основанного на принципах оптимального транспорта. Это позволяет DSLNet использовать сильные стороны каждой системы координат в сочетании для точного распознавания жестов.
#### Результаты
Проведенные эксперименты показали, что DSLNet достигает высокой точности распознавания жестов на различных датасетах. На WLASL-100, WLASL-300 и LSA64 точность составила 93,70%, 89,97% и 99,79% соответственно. Этот результат был достигнут при значительно меньшем числе параметров, чем у конкурентных моделей. Это свидетельствует о высокой эффективности DSLNet в сравнении с другими методами распознавания жестов.
#### Значимость
Предложенный подход имеет широкую область применения в системах роботов, видеомониторинге и реализации систем для поддержки инвалидов. Одним из преимуществ является высокая точность распознавания даже при подвижности и морфологической схожести жестов. Будущие исследования станут сфокусированы на расширении DSLNet для работы с более сложными датасетами и расширении его задач, включая распознавание жестов в открытом мире.
#### Выводы
Разработанная DSLNet достигла совершенно нового уровня точности в распознавании жестов, которое не было достигнуто ранее. Она разделяет жесты по морфологической и динамической структуре, используя две специализированные сети. Данный подход открывает новые во
Annotation:
Isolated Sign Language Recognition (ISLR) is challenged by gestures that are
morphologically similar yet semantically distinct, a problem rooted in the
complex interplay between hand shape and motion trajectory. Existing methods,
often relying on a single reference frame, struggle to resolve this geometric
ambiguity. This paper introduces Dual-SignLanguageNet (DSLNet), a
dual-reference, dual-stream architecture that decouples and models gesture
morphology and trajectory in separate, complementar...