WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Pretrained Speech Recognition Transformers

## Контекст Предварительно обученные модели распознавания речи, такие как Whisper, демонстрируют выдающиеся результаты в распознавании речи. Однако они не всегда эффективны при работе с незнакомым лексиконом или параллелизмом. Это проблема особенно актуальна в реальных сценариях, где сбор звуковых данных затруднен и невозможен в регулярных условиях. В таких ситуациях становится необходимым развитие текстово-ориентированных методов адаптации, которые могут улучшить точность распознавания без дополнительных звуковых данных. ## Метод Мы предлагаем WhisTLE — метод глубокой супервайзированной адаптации без подсказок, ориентированный на текст. Метод включает в себя несколько ключевых компонентов. Во-первых, мы обучаем вариационный автоэнкодер (VAE) для моделирования выходов преобразователя из текстовых данных. Этот этап позволяет восстанавливать информацию из текста с минимальным ущербем. Во-вторых, мы применяем глубокую супервайзированную адаптацию, где декодер обучается с использованием текстово-в-латентное преобразование, возможно объединенное с текстово-во-речь (TTS) адаптацией. Наконец, на этапе инференса, мы восстанавливаем предварительно обученный преобразователь, чтобы не увеличивать затраты на вычисления. ## Результаты Мы проверили эффективность WhisTLE на четырех выборках текстовых данных и четырёх моделях распознавания речи. Наши эксперименты показали, что применение WhisTLE с TTS приводит к снижению ошибки слов (WER) на 12.3% по сравнению с TTS-only адаптацией. Более того, WhisTLE показал лучшие результаты в 27 из 32 сценариев по сравнению с другими текстовыми методами адаптации. Эти результаты подтверждают эффективность WhisTLE в области текстовой адаптации без дополнительных звуковых данных. ## Значимость Метод WhisTLE может быть применен в различных сценариях, где доступ к звуковым данным ограничен, но есть текстовые ресурсы. Например, это может быть полезно в окружениях, где нужно распознавать речи на редких языках или в ситуациях, когда необходимо обрабатывать нестандартные лексики. Преимущественным моментом является возможность улучшения точности распознавания без дополнительных затрат на сбор звуковых данных. Мы считаем, что WhisTLE может стать ключевым инструментом для расширения возможностей текстового распознавания речи. ## Выводы Мы представили WhisTLE — новый метод глубокой супервайзированной текстовой адаптации для предобученных моделей распознавания речи. Наши эксперименты показали, что этот подход значительно улучшает точность распознавания, даже в условиях отсу