Eliminating stability hallucinations in llm-based tts models via attention guidance

## Контекст Одна из основных проблем в LLM-based Text-to-Speech (TTS) моделях, таких как CosyVoice2, — стабильность произносимости. Эта проблема часто проявляется в виде звуковых репетиций, пропусков или неконсистентных синтезированных звуков. Эти "халлюцинации" в стабильности могут существенно снижать качество произносимого текста, особенно при использовании моделей в реальном времени. Исследователи стремятся найти решения, которые будут улучшать точность и стабильность TTS моделей, особенно в сложных условиях, таких как длинные фразы или специфические языковые конструкции. ## Метод Работа основывается на улучшении и использовании механизма внимания в LLM-based TTS моделях. Авторы предложили новый показатель — Optimal Alignment Score (OAS) — оценивающий уровень текст-голос алгебраического взаимодействия. Эта оценка создана с помощью Viterbi алгоритма, который позволяет анализировать качество синхронизации между текстовыми и аудио токенами. Далее, OAS используется для оптимизации тренировки CosyVoice2, используя метод Chain-of-Thought (CoT), чтобы улучшить непрерывность и стабильность в выдаче модели. Также, предыдущие значения внимания выступают в роли гида для студентской модели CosyVoice2, чтобы уменьшить репитантные или пропущенные звуки. ## Результаты Исследования проводились на Seed-TTS-Eval и CV3-Eval тестовых наборах. Авторы показали, что интеграция OAS и CoT в тренировочный процесс CosyVoice2 позволила существенно уменьшить стабильностные халлюцинации. Эксперименты показали, что модель CosyVoice2 стала более точной в произношении, с меньшим количеством звуковых пропусков и репетиций. Точность и стабильность модели были повышены без привлечения ненужных побочных эффектов, таких как низкая четкость голоса или неестественность произношения. ## Значимость Предложенные решения могут быть применены не только для CosyVoice2, но и для других LLM-based TTS моделей, которые страдают от стабильностных халлюцинаций. Это может оказаться полезным в ситуациях, когда необходимо высокое качество голосового синтеза, например, в трансляциях, играх, интерактивных системах и автоматизированных системах обработки запросов. Этот подход может повысить квалификацию и экономичность TTS моделей, что является ключевым преимуществом для их использования в промышленных приложениях. ## Выводы Авторы успешно устранили проблему стабильностных халлюцинаций в CosyVoice2, используя OAS и CoT. Дальнейшие исследования могут сфокусироваться на улучшении методик OAS для более сложных языковых структур и развитии моделей с ширейшим спектром применения. Эти улучшения могут быть важны для развития ин