Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios

## Контекст Необходимость создания доступных и инклюзивных технологий для людей с ограниченными возможностями является ключевой задачей в современной информатике. Одним из самых вызовов является перевод естественных языков на жестовые языки. Изучение этой задачи важно для улучшения общения между людьми со сверхурочной интонацией и лицами с ограниченным слухом. Однако существуют существенные проблемы в этой области. Ограниченность доступных данных, высокая специфичность, нестандартизированность и недостаточное представление языка на сигнализацию приводят к проблемам в развитии эффективных методов. Текущие методы часто не могут обеспечить широкое применение, поскольку они слишком ограничены в данных и не могут обеспечить обобщение в сложных и нестандартных ситуациях. Наша мотивация заключается в разработке метода, который может решать эти проблемы, увеличивая доступность и эффективность технологий для перевода естественных языков на жестовые языки. ## Метод Мы предлагаем метод Advanced Use of LLMs for Sign Language Translation (AulSign), который использует технологию бо LLM для обработки естественных языков и перевода на жесты. Метод называется Advanced Use of LLMs for Sign Language Translation (AulSign). Основная особенность метода заключается в том, что мы используем динамическую подсказку (dynamic prompting) и обучение контекстом (in-context learning), чтобы обеспечить эффективную обработку языка и перевод на жесты. Мы объединяем LLM с компактными описаниями жестов в естественной речи и обучаем модель, чтобы она связывала эти описания с соответствующими жестовыми данными. Таким образом, мы используем LLMs как платформу для перевода, хотя они в исходном виде не обладают пониманием жестовых языков. Это позволяет связать естественные языки с жестовыми языками в задачах, где доступны ограниченные данные. ## Результаты Мы проводили эксперименты на двух языках: английском и итальянском. Для оценки нашей модели мы использовали два выборки данных: SignBank+ и LaCAM CNR-ISTC. Эти данные являются стандартизированными и подходят для оценки нашего подхода в обработке жестовых языков. Мы сравнили нашу модель с текущими решениями, включая те, которые используют стандартные методы NMT, предлагаемые для перевода естественных языков. Результаты показали, что наш подход демонстрирует значительные преимущества в условиях с низким количеством данных. Мы получили лучшие результаты по оценке точности перевода и общей эффективности. Это значит, что AulSign может эффективно работать даже в ситуациях, когда другие модели не могут обеспечить достаточную точность. ## Значимость Мы считаем, что наш подход