MeanAudio: Fast and Faithful Text-to-Audio Generation with Mean Flows

#### Контекст Современные текст-то-аудио (TTA) системы позволяют генерировать аудио из текста, применяя различные модели, такие как diffusion-based и flow-based. Эти модели достигли высокого качества синтеза аудио и хорошего контроля над процессом. Однако они страдают от значительного замедления в процессе вывода, что существенно ограничивает их практическую применимость. Мотивацией для настоящего исследования является развитие быстрой и точной TTA-системы, которая обладает высокой скоростью вывода и гарантирует качественную генерацию аудио. #### Метод MeanAudio — это новая модель, основанная на MeanFlow, разработанная специально для решения проблемы медлительного вывода в TTA. Основой модели является Flux-стильный трансформер, который регрессирует среднюю векторное поле во время обучения. Это позволяет эффективно генерировать аудио, осуществляя прямую траекторию от начала до конца потока. Использование classifier-free guidance (CFG) в обучении не добавляет дополнительных затрат в процессе направленного семплирования. Для улучшения стабильности обучения и развития модели в ранних этапах предложена интуитивная интерпретация с курсивом потока, которая помогает модели усвоить основные динамические характеристики, а затем приспособиться к средним потокам. #### Результаты Эксперименты показали, что MeanAudio достигает лидирующей по скорости генерации звука с реальным временем вывода (RTF) в 0,013 на NVIDIA RTX 3090, что является примерно 100 раз быстрее, чем современные diffusion-based TTA-системы. В то же время, модель поддерживает высокое качество генерации в многошаговой синтезе, обеспечивая плавные и гармоничные переходы между последовательными синтезированными участками аудио. Это достигается благодаря проработанной стратегии обучения, которая позволяет модели пройти фазу упрощенного обучения и перейти к более сложному генерированию. #### Значимость MeanAudio открывает путь к новому поколению TTA-систем, которые могут быть использованы в реальном времени благодаря их высокой скорости работы. Она применима в области генерирования естественного звука для видео, игр, виртуальных ассистентов и других приложений, где скорость генерации звука критична. Благодаря своей эффективности и качеству, MeanAudio имеет потенциал для широкого применения в индустрии и исследованиях. #### Выводы Результаты нашего исследования подтверждают, что MeanAudio является новаторским подходом к TTA-генерации, который обеспечивает высокую скорость вывода и качество генерации. Будущие исследования будут направлены на улучшение точности генерации, расширение скорости вывода на более сложных сценариях и исследование возможностей модели в различных ко