CarelessWhisper: Turning Whisper into a Causal Streaming Model

#### Контекст **Automatic Speech Recognition (ASR)** — одна из наиболее активно развивающихся областей искусственного интеллекта, нацеленная на распознавание и преобразование речи в текст. Существующие модели, такие как **OpenAI Whisper** и **NVIDIA Canary**, достигли отличных результатов в области офлайн-транскрипции. Однако эти модели не предназначены для работы в режиме streaming (реального времени) из-за архитектурных ограничений и методологии тренировки. Это приводит к высокому латенту и неэффективному использованию ресурсов. Латентность становится критичной в сценариях, где временная задержка критична (например, в системах управления железнодорожными проектами). В нашем исследовании мы адресовали эту проблему, предлагая метод по адаптации существующих моделей к требованиям реального времени, обеспечивая локальную оптимальность и низкую сложность. #### Метод Мы предлагаем преобразовать **transformer encoder-decoder** в **causal streaming model** (модель, не ориентирующуюся на будущий контекст). Это достигается путем **fine-tuning** исходного модели, включая как encoder, так и decoder. Используется **Low-Rank Adaptation (LoRA)** для эффективного обучения, а также **weakly aligned dataset** для улучшения выравнивания времени. Мы предложили новый **inference mechanism**, который использует fine-tuned model для **greedy decoding** и **beam search decoding**, обеспечивая локально оптимальные решения. Эта новая архитектура позволяет модели работать в режиме с низкой задержкой, не теряя качества распознавания. Кроме того, наш процесс тренировки улучшает выравнивание времени, что позволяет создавать точные **word-level timestamps**. #### Результаты Мы провели эксперименты с разными **chunk sizes** (менее 300 мс) и сравнили нашу модель с нетрейненговыми потоковыми моделями. Результаты показали, что **fine-tuned model** превосходит уже существующие потоковые модели, при этом используя значительно меньшую сложность. Мы также показали, что наш метод выравнивания времени эффективен и позволяет легко извлекать **word-level timestamps**, которые являются важным ресурсом для пользователей в таких приложениях, как **railway management systems**. Наши **fine-tuned models** скачаны и могут быть использованы для дальнейших исследований и развития в области streaming ASR. #### Значимость Наша работа открывает новые возможности для использования моделей **ASR** в сценариях, где реальное время и низкая задержка критичны, таких как **railway management systems**, **real-time speech transcription** для динамических сред. Мы также доказали, что можно эффективно адаптировать имеющиеся модели, не требуя полного переучивания, что экономит ресурсы. Наш подход имеет **broad applications** в различных областях, таких как **real-time communication systems**, **voice assistants** и **accessibility tools**. Мы положили фундамент для дальнейших исследований в области **causal streaming models** в ASR. #### Выводы Мы успешно