Phonological Representation Learning for Isolated Signs Improves Out-of-Vocabulary Generalization

#### Контекст Знаковый язык является важной формой мышления и общения, особенно для людей с нарушениями слуха. Несмотря на развитие технологий, существуют значительные проблемы с обработкой и распознаванием знаков. Одной из основных проблем является нехватка данных, представляющих все возможные знаки, что приводит к недостаточной общезначимости моделей. Это способствует неэффективности моделей при распознавании новых или редко встречающихся знаков. Целью данного исследования является создание модели, улучшающей общезначимость и обнаружение знаков, при этом используя языковые признаки для повышения точности и универсальности. #### Метод Методология исследования основывается на использовании векторной квантования для обучения дискретных токенов, которые могут представлять знаки. Архитектура модели включает в себя векторный автокодировщик с дискретными токенами, в котором включены два ключевых подхода: **Parameter Disentanglement** и **Phonological Semi-Supervision**. - **Parameter Disentanglement** представляет собой архитектурный подход, разделяющий языковые признаки в модели, чтобы избежать спуфинга корреляций. - **Phonological Semi-Supervision** является техникой регуляризации, использующей знаковый контекст для улучшения языковой модели. Эти подходы были интегрированы в модель для улучшения обучения и обнаружения знаков, а также для повышения качества реконструкции неизвестных знаков. #### Результаты Исследование проводилось на наборе данных знаков, где продемонстрировано, что использование предложенной модели приводит к значительным повышениям качества распознавания и реконструкции знаков. Были проведены эксперименты, сравнивавшие результаты с контрольной моделью, не использующей предложенные языковые признаки. Результаты показали, что модель с **Parameter Disentanglement** и **Phonological Semi-Supervision** обеспечивает более высокую точность распознавания знаков и высокую качественную реконструкцию неизвестных знаков. Это демонстрирует, что использование языковых признаков позволяет улучшить общезначимость и эффективность распознавания знаков. #### Значимость Результаты имеют применение в различных областях, где требуется улучшить обработку и распознавание знаков, в том числе в системах распознавания знаков для взаимодействия с людьми-синологами, в создании систем интерактивного обучения знаковому языку, и в области доступности для людей с нарушениями слуха. Модель, описанная в статье, обеспечивает более точное и универсальное распознавание знаков, что может способствовать созданию более эффективных инструментов для общения. Дальнейшие исследования могут быть направлены на расширение модели для обработки знако