Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding

## Контекст Проблема неэффективности и высокой сложности существующих систем нейронного кодирования речи лежит в основе данных исследований. Традиционные подходы, такие как residual vector quantization (RVQ), требуют сложной архитектуры и значительных вычислительных ресурсов. Это ставит под сомнение их пригодность для реализации в режиме низкой задержки, необходимого для реального времени в телекоммуникационных системах. Данное исследование адресует эту проблему, предлагая простой, одноэтажный подход к кодированию спектрограмм, который упрощает архитектуру и обеспечивает высокую производительность. ## Метод Предлагаемый подход основывается на векторном квантизаторе типа VQ-VAE, но отличается упрощенной архитектурой. Он работает напрямую с mel-спектрограмой, разбивая ее на непересекающиеся 4x4 патчи, которые затем кодируются в едином общем кодексе. Для обеспечения высокого качества реконструкции звука в данной системе используется гибридный подход: в качестве генератора звука используется HiFi-GAN, который обучается заполнить дискретную структуру полученного латентного пространства. Этот вариант позволяет получить высококачественные аудиосигналы с низким затратом вычислительных ресурсов. ## Результаты Для оценки эффективности предложенного подхода проведены многочисленные эксперименты с использованием различных метрик качества, таких как STOI, PESQ, MCD и ViSQOL. Использовались реалистичные данные речи, а также сравнение с несколькими современными системами кодирования речи. Результаты показали, что предложенная система достигает почти одинакового качества с лучшими готовыми решениями, при этом значительно упрощая архитектуру и сокращая затраты ресурсов на обучение и время работы. ## Значимость Предложенная модель нейронного кодирования речи открывает новые возможности для разработки низкозадержанных, высококачественных систем в реальном времени. Она имеет широкие перспективы применения в телекоммуникационных системах, видеосвязи и устройствах беспроводной связи. Благодаря открытому коду и простоте интеграции, она может стать базой для дальнейших исследований и усовершенствований в области кодирования звука. ## Выводы Опубликованная работа доказывает, что простой одноэтажный подход к кодированию mel-спектрограмм может дать одинаковое, а иногда и лучшее качество аудио в сравнении с сложными RVQ-системами. Этот подход является эффективным инструментом для построения будущих низкозадержанных систем нейронной речи. Будущие исследования будут сконцентрированы на улучшении качества звука при уменьшении потребления вычислительных ресурсов.