DiFlow-TTS: Discrete Flow Matching with Factorized Speech Tokens for Low-Latency Zero-Shot Text-To-Speech
2509.09631v1
cs.SD, cs.CL, cs.CV
2025-09-13
Авторы:
Ngoc-Son Nguyen, Hieu-Nghia Huynh-Nguyen, Thanh V. T. Tran, Truong-Son Hy, Van Nguyen
Резюме на русском
#### Контекст
Zero-shot Text-to-Speech (TTS) — это интересная область исследований, нацеленная на создание речи, которая лояльно повторяет голос невидимого речевого агента, используя всего несколько секунд его речи. Это задача требует не только интеллектуального адаптирования к речевому стилю, но также точного моделирования просодических признаков. Несмотря на некоторые прогрессы, существующие методы, основанные на моделях языка, диффузии и потоковых методах, страдают от медлительной обработки и проблем с повторениями. Моделирование дискретных кодов звука в синтезе речи получило нарастающий интерес, так как дискретные потоковые модели могут предложить новые подходы к решению этих проблем. Однако, существующие потоковые методы часто инкапсулируют дискретные токены в подходящий контекст, что может привести к ухудшению использования преимуществ дискретной структуры.
#### Метод
Мы предлагаем DiFlow-TTS, первую модель, основанную на дискретном потоковом подходе для текстового голос synth. Она использует важное значение связи между текстовым содержанием и просодическими признаками, включая ряд моделей потоков, которые разделяют просодические и акустические признаки. Эта универсальная архитектура позволяет моделировать факторно разделенные атрибуты речи, чтобы обеспечить эффективное клонирование голоса без тренировки. Для улучшения ясности и эффективности, мы применяем **диффузионные формальности**, чтобы обеспечить точное моделирование звуков, а также используем **контекстное обучение**, чтобы учитывать речевые стили и ситуации.
#### Результаты
Мы проводили эксперименты на основе нескольких ключевых метрик: **naturalness**, **speaker style preservation**, **prosody preservation** и **energy control**. Наши результаты показали, что DiFlow-TTS превосходит существующие алгоритмы, демонстрируя значительное улучшение в **speaker adaptation** и **low-latency inference**. Например, в тестах на **real-time speech synthesis**, DiFlow-TTS обработал речь до 25.8 раз быстрее, чем существующие методы, при этом сохранив высокую точность. Модель также показала отличные результаты в уменьшении проблемы повторений и поддержании динамичности речи.
#### Значимость
DiFlow-TTS открывает новые возможности в **low-latency zero-shot TTS**, делая его применимым в реальных сценариях, таких как **voice assistants**, **audiobooks** и **real-time communication**. Наш подход уменьшает время обработки и улучшает качество речи, особенно в ситуациях, где необходима мгновенная реакция. Это может привести к улучшению интерфейсов, увеличению юзабилити и повышению доступности технологий TTS в различных приложениях.
#### Выводы
DiFlow-TTS — первый потоковый подход, который испо
Abstract
Zero-shot Text-to-Speech (TTS) aims to synthesize high-quality speech that
mimics the voice of an unseen speaker using only a short reference sample,
requiring not only speaker adaptation but also accurate modeling of prosodic
attributes. Recent approaches based on language models, diffusion, and flow
matching have shown promising results in zero-shot TTS, but still suffer from
slow inference and repetition artifacts. Discrete codec representations have
been widely adopted for speech synthesis, and recent works have begun to
explore diffusion models in purely discrete settings, suggesting the potential
of discrete generative modeling for speech synthesis. However, existing
flow-matching methods typically embed these discrete tokens into a continuous
space and apply continuous flow matching, which may not fully leverage the
advantages of discrete representations. To address these challenges, we
introduce DiFlow-TTS, which, to the best of our knowledge, is the first model
to explore purely Discrete Flow Matching for speech synthesis. DiFlow-TTS
explicitly models factorized speech attributes within a compact and unified
architecture. It leverages in-context learning by conditioning on textual
content, along with prosodic and acoustic attributes extracted from a reference
speech, enabling effective attribute cloning in a zero-shot setting. In
addition, the model employs a factorized flow prediction mechanism with
distinct heads for prosody and acoustic details, allowing it to learn
aspect-specific distributions. Experimental results demonstrate that DiFlow-TTS
achieves promising performance in several key metrics, including naturalness,
prosody, preservation of speaker style, and energy control. It also maintains a
compact model size and achieves low-latency inference, generating speech up to
25.8 times faster than the latest existing baselines.
Ссылки и действия
Дополнительные ресурсы: