Can Layer-wise SSL Features Improve Zero-Shot ASR Performance for Children's Speech?

#### Контекст Автоматическое звукоречевое распознавание (ASR) системы часто сталкиваются с трудностями при обработке речи детей, что связано с особыми акустическими и лексическими особенностями этого типа речи. Хотя недавние достижения в области самостоятельного обучения (SSL) существенно улучшили транскрипцию речи взрослых, проблема транскрипции речи детей остается актуальной. Целью данного исследования является оценка потенциала layer-wise самостоятельно самообучающихся моделей (Wav2Vec2, HuBERT, Data2Vec и WavLM) для улучшения ASR-систем, предназначенных для транскрибирования речи детей в zero-shot сценарии. #### Метод Для тестирования потенциала SSL-моделей были извлечены layer-wise features, которые последуют интегрированы в DNN-систему ASR с использованием Kaldi toolkit. Для обучения была использована аудио-корпус WSJCAM0, а для тестирования — PFSTAR. Эксперименты проводились с использованием разных моделей SSL и выделения layer-wise features. Также проводилась анализ по группам возраста, чтобы оценить как общую эффективность, так и то, как модель себя вестит на данных речи ребенка разных возрастов. #### Результаты Изыскания показали, что Layer 22 модели Wav2Vec2 дает низкий Word Error Rate (WER) в 5.15%, что составляет 51.64% относительного улучшения по сравнению с прямым zero-shot декодированием с использованием Wav2Vec2 (WER в 10.65%). Данные по возрастным группам указали на то, что модель постоянно улучшает свою эффективность с ростом возраста, при этом даже на молодших группах возраста были заметные улучшения. Эксперименты на CMU Kids дали похожие итоги, подтвердив генерализуемость предложенного подхода. #### Значимость Результаты этих исследований могут быть применены в разработке более точных ASR-систем для детей, что будет полезно в области образования, здравоохранения и интерактивных технологий. Преимуществоми этого подхода является уменьшение WER на zero-shot сценариях и улучшение универсальности моделей для различных возрастных групп детей. В будущем, можно рассмотреть интеграцию данных из других SSL-моделей и расширение подхода на другие типы речи. #### Выводы Исследование показало, что layer-wise features из SSL моделей могут значительно сократить WER в zero-shot ASR системах для речи детей. Модель Wav2Vec2, особенно Layer 22, дала лучшие результаты. Этот подход может быть применен для решения проблем с транскрибированием речи детей, имея потенциал для расширения и исследования других моделей и наборов данных.