UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice

## Контекст Область исследования связана с развитием технологии экспрессивной речи-к-речи (S2ST, Speech-to-Speech Translation). Целью этой технологии является точное переводение речи, сохраняя эмоциональный стиль и личность речи. Несмотря на прогрессы, три основных проблемы ограничивают развитие этой области: ограниченность количества парных семантических данных, сохраняющих эмоциональный стиль; сложность многоэтапных процессинговых цепочек; и слабое влияние больших текстовых моделей на голосовые модели. Данное исследование целеустремлено устранить эти проблемы, обеспечив непрерывный трансформационный подход в S2ST с использованием новых моделей и данных. ## Метод Предложенный UniSS (Unified Expressive Speech-to-Speech Translation) — это одноэтапная система, которая соединяет моделирование семантики и эмоционального стиля речи в едином процессе. Основной идеей является интеграция текстовых моделей с голосовыми, чтобы сделать модель трансляции более мощной и универсальной. Для передачи эмоционального стиля и голоса между языками используется цепочка-мышления (chain-of-thought), которая передает текстовые модели особенности речи. Для обучения и оценки системы разработана большая высококачественная база данных UniST, содержащая 44.8k часов звуковых данных. ## Результаты Эксперименты показали, что UniSS превосходит предыдущие модели по фидбэку достоверности и качеству голоса. Модель успешно сохраняет эмоциональный стиль и личность речи в переводе, даже при переводе на другие языки. Результаты подтверждают, что UniSS не только повышает точность перевода, но и обеспечивает естественность речи, сохраняя эмоциональную глубину и стиль речи. ## Значимость Данная работа открывает новые возможности в области экспрессивной S2ST, показав возможность создания моделей, которые сохраняют не только смысл речи, но и эмоциональные особенности речи. Она может быть применена в сферах, где важно сохранение эмоционального контекста в интернациональных коммуникациях, обучении или туризме. Благодаря единой системе моделирования UniSS значительно упрощается процесс развития экспрессивных S2ST-систем, что может привести к более широкому распространению этой технологии. ## Выводы UniSS достигает существенного прогресса в области экспрессивной S2ST, объединяя моделирование семантики и эмоционального стиля в единой системе. Она показала эффективность и превосходство по сравнению с предыдущими моделями. В дальнейшем будут проводиться исследования для улучшения качества звучания и дополнительного тренирования моделей для разных языков и стилей речи.