WhiSQA: Non-Intrusive Speech Quality Prediction Using Whisper Encoder Features

## Контекст В последние годы активно развивается искусственный интеллект в области речи, в том числе для оценки качества речи (SQ). Одним из основных задач существующих систем является разработка нейронных метрик, которые могут оценивать качество речи без необходимости предоставлять сравнительные референсы. Существуют многочисленные большие выборки аудиоданных с оценками качества, но не всегда они подходят для проведения точных экспериментов. Одним из ключевых трендов является использование представлений из нейросетей, обученных на больших объемах данных без направленной метки, для решения задач оценки качества речи. В данной работе предлагается продвинутый подход, основанный на получении представлений речи из модели АСР (Whisper), что позволяет повысить качество оценки качества речи. ## Метод Предлагаемая модель, WhiSQA, основывается на использовании функций выражения, полученных из модели Whisper, которая обучена неуправляемым способом на большом количестве аудиоданных. Эти представления аудио тщательно проанализированы и оптимизированы в рамках задачи оценки качества речи. Методом стало прогнозирование на основе нейронных сетей, которые используют эти выделенные представления речи. Затем для оценки качества был разработан новый подход, сталкивающий модель с реальными условиями, что позволило повысить точность оценки качества речи. ## Результаты В ходе экспериментов метрика WhiSQA протестирована на нескольких тестовых наборах данных, в том числе на Human MOS, NISQA и DNSMOS. Она показала высокую корреляцию с реальными оценками качества речи, превысив многие из соревновательных моделей, в том числе DNSMOS. Модель WhiSQA также продемонстрировала значительное улучшение в доменной адаптации, что делает ее более универсальной для различных типов сценариев. ## Значимость Данный подход может быть применен в различных областях, в том числе для тестирования систем распознавания речи, а также для выявления ошибок в звуковых сигналах. Модель WhiSQA показывает значительные преимущества в сравнении с конкурентными системами, включая более высокую точность и лучшую общую гибкость. Эти достижения открывают пути для будущих исследований в области нейронных моделей для оценки качества речи с необходимостью меньших ресурсов. ## Выводы Разработанная модель WhiSQA доказала свою эффективность в прогнозировании качества речи. Она превосходит существующие решения по корреляции с реальными оценками качества речи. В будущем планируется расширить функции модели, включая её использование для других задач, таких как выявление и поддержка оптимальных условий для речи.