📊 Статистика дайджестов
Всего дайджестов: 34123 Добавлено сегодня: 101
Последнее обновление: сегодня
📄 Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios
2025-08-27Авторы:
Luana Bulla, Gabriele Tuccio, Misael Mongiovì, Aldo Gangemi
## Контекст
Необходимость создания доступных и инклюзивных технологий для людей с ограниченными возможностями является ключевой задачей в современной информатике. Одним из самых вызовов является перевод естественных языков на жестовые языки. Изучение этой задачи важно для улучшения общения между людьми со сверхурочной интонацией и лицами с ограниченным слухом. Однако существуют существенные проблемы в этой области. Ограниченность доступных данных, высокая специфичность, нестандартизированность и недостаточное представление языка на сигнализацию приводят к проблемам в развитии эффективных методов. Текущие методы часто не могут обеспечить широкое применение, поскольку они слишком ограничены в данных и не могут обеспечить обобщение в сложных и нестандартных ситуациях. Наша мотивация заключается в разработке метода, который может решать эти проблемы, увеличивая доступность и эффективность технологий для перевода естественных языков на жестовые языки.
## Метод
Мы предлагаем метод Advanced Use of LLMs for Sign Language Translation (AulSign), который использует технологию бо LLM для обработки естественных языков и перевода на жесты. Метод называется Advanced Use of LLMs for Sign Language Translation (AulSign). Основная особенность метода заключается в том, что мы используем динамическую подсказку (dynamic prompting) и обучение контекстом (in-context learning), чтобы обеспечить эффективную обработку языка и перевод на жесты. Мы объединяем LLM с компактными описаниями жестов в естественной речи и обучаем модель, чтобы она связывала эти описания с соответствующими жестовыми данными. Таким образом, мы используем LLMs как платформу для перевода, хотя они в исходном виде не обладают пониманием жестовых языков. Это позволяет связать естественные языки с жестовыми языками в задачах, где доступны ограниченные данные.
## Результаты
Мы проводили эксперименты на двух языках: английском и итальянском. Для оценки нашей модели мы использовали два выборки данных: SignBank+ и LaCAM CNR-ISTC. Эти данные являются стандартизированными и подходят для оценки нашего подхода в обработке жестовых языков. Мы сравнили нашу модель с текущими решениями, включая те, которые используют стандартные методы NMT, предлагаемые для перевода естественных языков. Результаты показали, что наш подход демонстрирует значительные преимущества в условиях с низким количеством данных. Мы получили лучшие результаты по оценке точности перевода и общей эффективности. Это значит, что AulSign может эффективно работать даже в ситуациях, когда другие модели не могут обеспечить достаточную точность.
## Значимость
Мы считаем, что наш подход
Annotation:
Translating natural languages into sign languages is a highly complex and
underexplored task. Despite growing interest in accessibility and inclusivity,
the development of robust translation systems remains hindered by the limited
availability of parallel corpora which align natural language with sign
language data. Existing methods often struggle to generalize in these
data-scarce environments, as the few datasets available are typically
domain-specific, lack standardization, or fail to capture...