Sigma: Semantically Informative Pre-training for Skeleton-based Sign Language Understanding

## Контекст Задача распознавания и понимания сигналов жестов является ключевой областью исследований в сфере обработки естественных языков. Она обладает уникальными свойствами, такими как неизменность внешнего вида исполнителя и устойчивость к фоновым дистакциям. Несмотря на это, обнаруживаются трудности в достижении стабильности и точности, особенно в условиях разнообразных ситуаций и сред. Одним из основных факторов, способствующих этим сложностям, является недостаточность семантического осмысления входных данных, что приводит к проблемам в связи жестов с их лексическим или грамматическим значением. Другие проблемы включают в себя невесомый баланс между локальными деталями и глобальным контекстом, а также неэффективность выработки совместимых представлений для многомодальных задач. Эти проблемы способствуют необходимости в развитии методов, которые могли бы улучшить семантическую осмысленность и контекстуальную связь в процессе обучения. ## Метод Sigma предлагает универсальный подход к работе с сигналами жестов для задач распознавания и понимания жестов. Основная идея заключается в создании полностью взаимосвязанной модели, которая объединяет сопоставление скелетной структуры и текстовых семантических моделей. Метод включает в себя следующие компоненты: 1) **Sign-aware Early Fusion Mechanism**, который объединяет визуальные и текстовые модели на этапе раннего слияния, что позволяет глубокой интеракции между модами. 2) **Hierarchical Alignment Learning**, ориентированный на создание парных репрезентаций на разных уровнях, чтобы обеспечить объединение детализированных деталей и высокоуровневых семантических связей. 3) **Unified Pre-training Framework**, который интегрирует несколько методов обучения, включая contrastive loss, text matching и language modeling, для повышения семантической согласованности и трансферабельности. ## Результаты Эксперименты проводились на нескольких бенчмарках, включающих различные языки жестов и сигналов. Результаты показали, что Sigma превосходит существующие модели на всех задачах: от распознавания изолированных жестов до контрольной цифры и сложных задач перевода без употребления глоссов. Особое внимание уделялось сравнению на двух модах — визуальной и текстовой — и их совместной интеграции. Модель показала значительные улучшения в точности распознавания и целостности семантических представлений, что указывает на повышенную эффективность семантически информативной предварительной обучения. ## Значимость Sigma может быть применена в многочисленных областях, от систем распознавания жестов для специальных назначений до перевода жестов в естественные языки.