#### Контекст Текстовые распознавания речи (TTS) и голосовые преобразования (VC) широко используются в сфере искусственного интеллекта для генерирования речи. Основной задачей в этих областях является получение качественных аудио сигналов из текстовых данных. Одним из ключевых элементов этих процессов являются акустические признаки, такие как мел-спектрограммы, которые легко обучаются и требуют меньшего объема ресурсов. Однако при преобразовании этих признаков в аудио сигналы через вокодер возникают значительные затраты времени и памяти, особенно при использовании методов, таких как диффузионное обучение. Эта проблема влияет на эффективность и экономичность реализации TTS и VC. Мы предлагаем новую модель, которая уменьшает эти затраты, сохраняя высокое качество генерируемых аудио сигналов. #### Метод Мы предлагаем **Vocoder-Projected Feature Discriminator (VPFD)** — новую архитектуру, использующую вокодер для проекции признаков на аудио сигналы. Метод основывается на двух основных компонентах: вокодер-проектор и искусственной нейронной сети с адверсарным обучением. Вокодер-проектор преобразует мел-спектрограммы в временной сигнал с помощью одного этапа увеличения разрешения. Это позволяет эффективно применять адверсарный тренинг, не требуя значительного времени и памяти. Модель обучается с помощью бинарного адверсарного тренинга, где дискриминатор сравнивает генерируемый сигнал с реальным. Это приводит к уменьшению времени обучения и потребления памяти. #### Результаты Мы провели эксперименты на различных данных, включая диффузионное обучение в VC. Наши результаты показали, что VPFD демонстрирует высокое качество генерируемых аудио сигналов, сравнимое с дискриминаторами, работающими непосредственно с волновыми сигналами. Однако VPFD гораздо эффективнее по ресурсам: обучение стало быстрее в 9.6 раз, а потребление памяти уменьшилось в 11.4 раз в сравнении с традиционными методами. Эти результаты доказывают эффективность и экономичность нашего подхода. #### Значимость Метод VPFD может быть применен в различных областях, таких как текстовые распознавания речи, голосовые преобразования, синтез речи и музыкальная генерация. Он обеспечивает высокое качество генерируемых сигналов с значительной экономией ресурсов. Это может привести к более эффективной реализации TTS и VC в ситуациях, где ресурсы ограничены. Будущие исследования будут сфокусированы на расширении возможностей VPFD для других типов акустических признаков и улучшении его парамет

#### Контекст "Диффузионные модели, такие как VoiceGrad, достигают высокой степени точности в речевом преобразовании (Voice Conversion, VC) по сравнению с более простыми моделями генерации речи. Однако их выполнение требует многоэтапного сэмплинга, что приводит к заметному снижению скорости. Для устранения этого недостатка была предложена FastVoiceGrad, которая преобразовывает VoiceGrad в одношаговую модель. Тем не менее, FastVoiceGrad все еще зависит от тяжеловесного контентного энкодера, необходимого для выделения речевой идентичности и контента, что также замедляет преобразование. Это привело к развитию FasterVoiceGrad, которая стремится улучшить скорость диффузионного VC, добиваясь этого за счет внедрения адверсарного диффузионного преобразования и одновременного обучения с помощью алгоритма ADCD." #### Метод "FasterVoiceGrad основывается на введении нового парадигмы для одношагового диффузионного VC. Она использует метод ADCD для улучшения качества речевого преобразования, при этом решая проблему дорогостоящего обучения контентного энкодера. Модель состоит из двух ключевых элементов: одношаговой диффузионной модели и содержимого-энкодера, которые обучаются одновременно. Это позволяет избежать избыточного вычислительного напряжения, связанного с длительными итерациями сэмплирования. Модель использует простую архитектуру, но эффективную, чтобы улучшить скорость, сохранив высокое качество за счет ускоренного обучения диффузионной модели и содержимого-энкодера." #### Результаты "В экспериментах была проведена сравнительная оценка скорости и качества речевого преобразования между FasterVoiceGrad, FastVoiceGrad и VoiceGrad. Результаты показывают, что FasterVoiceGrad демонстрирует скорость выполнения 6.6-6.9 раз быстрее генерации VoiceGrad и 1.8 раз быстрее FastVoiceGrad при использовании GPU и CPU. Однако в качестве речевого преобразования она сохраняет высокую точность и силу речевого выражения, близкую к VoiceGrad. Это делает ее более скорострельной, но не хуже по качеству." #### Значимость "FasterVoiceGrad демонстрирует новую технику для ускорения диффузионных моделей VC, сочетая в себе высокое качество и быстроту преобразования. Она может быть применена в различных сценариях, где необходимо быстрое преобразование речи, например, в системах реального времени или приложениях, требующих высокой производительности. Это позволяет улучшить интерактивность и пользовательский опыт, особенно в системах с низкой задержкой, таких как видеоконференции или синтез речи." #### Выводы "Данная работа открывает новый путь для улучшения скорости и качества диффузионных моделей VC. Она показывает, что можно добиться высокой точности при меньшем

#### Контекст Текстовая речь и голосовая преобразование (TTS и VC) широко используются в различных приложениях, от интеллектуальных помощников до доступности для людей с ограниченными возможностями. Однако для этих задач часто используются значительные ресурсы вычислительных мощностей и памяти, особенно при работе с громкостной спектрограммой или высокополиномиальными фичевыми моделями. Эти аспекты не только усложняют реализацию, но и затрудняют развертывание моделей в реальном времени. В настоящем исследовании решается проблема эффективного обучения моделей TTS и VC с меньшим потреблением ресурсов, обеспечивая при этом высокое качество звука. #### Метод Мы предлагаем метод **Vocoder-Projected Feature Discriminator (VPFD)**, который обучается с помощью валидации временного ряда на основе волнового моделирования. Эта техника позволяет воспроизводить звук с помощью упрощенного алгоритма, который заменяет сложную последовательность upsampling-операций на более простой процесс. Модель использует **vocoder feature extractor**, который извлекает основные характеристики сигнала, не требуя дополнительного расширения во временной области. Эта техника уменьшает размер модели и увеличивает скорость обучения без потери качества звука. #### Результаты Мы провели эксперименты на диффузионно-основанных моделях VC с использованием моделей **MelGAN** и **HiFi-GAN**. При этом использовались данные из звуковых баз **VCTK** и **LibriTTS**. Результаты показали, что VPFD достигает качества аудио около 95% от волнового дискриминатора, при этом уменьшая время обучения и потребление памяти в 9,6 и 11,4 раз соответственно. Это указывает на то, что **дискриминатор волнового моделирования** может быть успешно заменен на более лёгкий алгоритм без потери качества. #### Значимость Предлагаемый метод VPFD имеет широкое применение в областях TTS и VC, особенно когда требуется эффективное решение с ограниченными вычислительными ресурсами. Это может применяться в мобильных приложениях, браузерных сервисах и даже в системах распознавания речи. Кроме того, **экономия ресурсов** и **улучшение скорости обучения** делают VPFD привлекательным для использования в крупных моделях, которые требуют многочисленных проходов на обучение. Таким образом, это может способствовать более быстрому развитию текстовой речи и голосового преобразования. #### Выводы Мы установили, что VPFD позволяет достичь высокого качества звука при значительно меньших затратах ресурсов по сравнению с волновым дискриминатором. Данный подход может быть использован в будущих исследованиях для оптимизации моделей TTS и VC, а также для улучшения их производительности в реальном вре