Finite Scalar Quantization Enables Redundant and Transmission-Robust Neural Audio Compression at Low Bit-rates

#### Контекст Neural Audio Codecs (NACs) получили широкое применение в процессинге аудио, благодаря высокой эффективности в сжатии и совместимости с Large Language Models (LLMs). Однако большинство существующих кодеков опираются на Residual Vector Quantization (RVQ), которая включает дополнительные сложительные вычисления и требует множественных кодеков. В этой статье предлагается Finite Scalar Quantization (FSQ) — альтернативная методика, которая упрощает процесс обучения и хорошо подходит для использования в одном кодеке. Кроме того, FSQ обеспечивает робастность кодирования при передаче по шумным каналам. #### Метод FSQ использует один кодек, устраняя необходимость в нескольких исполнениях. Методика включает новую архитектуру NeuCodec, которая вырабатывает кодирование с встроенной резилиентностью к шумам. Эксперименты включили дистилляцию энкодеров и симуляцию передачи аудио по шумному каналу. #### Результаты Проведены эксперименты, показавшие, что два разных энкодера могут преобразовать один и тот же аудио файл в разные коды, при этом сохраняя высокую точность воспроизведения. Было также продемонстрировано, что FSQ гораздо более терпит шум в канале передачи по сравнению с RVQ. #### Значимость FSQ может быть применено в различных областях, где требуется высококачественное сжатие аудио в условиях шума — например, в телекоммуникациях, IoT и системах автоматического звукового анализа. Основные преимущества включают упрощение процесса обучения, лучшую робастность и эффективность в ресурсах. #### Выводы FSQ продемонстрировал свою эффективность в режиме low bit-rate, где достиг достижил значительного прогресса в сжатии аудио. Будущие исследования будут фокусироваться на расширении методики для дополнительных сценариев применения и улучшении её гибкости.