HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization

## Контекст Automatic Speech Recognition (ASR) теперь широко используется в различных областях, включая домашние помощники, системы управления голосом и системы перевода. Однако один из главных недостатков ASR — её чувствительность к шуму. Многие существующие модели тренируются на чистом голосовом данных, но зачастую сталкиваются с проблемами, когда требуется работать с шумными условиями. Это ограничивает их применение в реальном мире, где шум — неизбежная часть. Целью данной работы является создание модели, которая будет более устойчивой к шумам, чтобы улучшить производительность ASR в неидеальных условиях. ## Метод Мы предлагаем HuBERT-VIC, которая основывается на HuBERT, но включает дополнительные обучающие функции — Variance, In-variance, и Covariance Regularization (VICReg). Эти новые статистические меры нацелены на улучшение устойчивости модели к шуму. Ключевым аспектом этого подхода является то, что VICReg целевая настройка статистических свойств звуковых представлений, чтобы модель могла лучше учитывать различные аккустические черты. Мы применяем эти регуляризационные методы к представлениям звуков, чтобы модель могла более точно распознавать звуки в шумных условиях. ## Результаты Мы проводили многочисленные эксперименты на двух наборах данных: LibriSpeech и Demosphere. Мы сравнили новую модель HuBERT-VIC с базовой HuBERT, которая была тренирована на шумном голосовом данных. Эксперименты показали, что HuBERT-VIC показывает значительные улучшения: на LibriSpeech test-clean она достигла 23.3%, а на test-other — 13.2%, что является значительным преимуществом по сравнению с базовой моделью. Эти результаты демонстрируют, что VICReg позволяет модели более эффективно адаптироваться к шумным условиям, увеличивая её устойчивость и общую точность. ## Значимость Наши результаты открывают новые возможности в области шумоустойчивой ASR. Модель HuBERT-VIC может быть применена в различных сценариях, включая системы управления голосом в автомобилях, помощников-диктов и даже в разработке более надежных систем медицинских голосовых интерфейсов. Этот подход не только улучшает производительность, но и позволяет расширить возможности ASR в технических и юридических сферах, где шум является неизбежной частью рабочего процесса. ## Выводы Мы успешно разработали HuBERT-VIC, модель, которая значительно улучшает устойчивость ASR к шумам. Эта модель демонстрирует существенные улучшения в производительности по сравнению с базовой HuBERT. Будущие исследования будут направлены на улучшение технических аспектов VICReg и его применение в различных стандартных вызовах шума в