Mitigating Hallucinations in LM-Based TTS Models via Distribution Alignment Using GFlowNets

#################### ## Контекст #################### Генеративные модели текста-na-речь (TTS), основанные на языковых моделях (LM), стали популярными в связи с их возможностью генерировать естественную и естественно выраженную речь. Однако, эти модели часто сталкиваются с проблемой "фантомных" выводов (hallucinations), когда генерируемый синтетический текст отклоняется от оригинального ввода. Такие ошибки могут привести к затруднению понимания речи, особенно в критических сценариях, таких как ассистирующие технологии и синтез речи в системах распознавания речи. Существуют существующие стратегии, стремящиеся устранить эту проблему, но они либо требуют больших вычислительных ресурсов, либо влияют на производительность модели во время выполнения. Это создает необходимость в эффективном и масштабируемом подходе для устранения этих проблем. #################### ## Метод #################### В данной работе предлагается GFlowNet-guided distribution AlignmenT (GOAT) — пост-тренировочный фреймворк для устранения "фантомных" выводов в LM-based TTS. Методология GOAT основывается на анализе неопределенности модели, который демонстрирует сильную положительную корреляцию между высоким уровнем неопределенности и высоким показателем фантомных выводов. Траектория генерации речи представляется как задача оптимизации распределения потока. Для этого предложена усовершенствованная структура Subtrajectory Balance, а также добавлена новая целевая дистрибуция с учетом sharpened internal reward. Для повышения устойчивости и баланса производительности в рамках GOAT внедрено декремент реварда (reward temperature decay) и оптимизацию learning rate. #################### ## Результаты #################### Проведенные эксперименты показали, что GOAT позволяет существенно улучшить качество синтеза речи, снизивший character error rate (CER) на трудных тестовых случаях на более чем 50%. Более того, GOAT позволили снизить неопределенность модели до 58%, что указывает на ее высокую общероботуемость и эффективность в устранении "фантомных" выводов. Эти результаты были получены без дополнительных ресурсов или повышенных затрат на выполнение. #################### ## Значимость #################### Предлагаемый подход имеет широкие потенциальные применения в сфере генеративных текстов-на-речь, в том числе применения в синтезе речи для ассистирующих технологий, систем распознавания речи и живой связи с пользователем. Одним из основных преимуществ GOAT является его эффективность в решении проблемы "фантомных" выводов с минимальными затратами на ресурсы и время выполнения. Этот подход может стать ключевым элементом в создании более надежных и точных текстовых-на-речь систем. #################### ## Выводы #################### В итоге, GOAT представляет собой прорыв в области устранения "фантомных" выводов в LM-based