Flavors of Moonshine: Tiny Specialized ASR Models for Edge Devices

## Контекст ### Область исследования Автоматическое распознавание речи (Automatic Speech Recognition, ASR) является ключевым компонентом современных технологий, обеспечивающих удобный доступ к информации. Однако существующие решения часто ориентированы на широко поддерживаемые языки, оставляя подзападных языков без качественных систем ASR. Это ограничивает возможности использования ASR для этих языков в устройствах Edge (например, мобильных устройствах). ### Мотивация Предлагаемые системы ASR часто основываются на многоязычных моделях, использующих методы кросс-лингвистического обучения для извлечения схожих фонетических оттенков. Тем не менее, для небольших моделей, ограниченных по размеру, такие подходы могут оказаться неэффективными. Это влечет за собой потребность в разработке специализированных моделей, оптимизированных для отдельных языков. ## Метод ### Методология Базовая модель — сеть на основе конфигурации T-Tiny (27 миллионов параметров). Модель обучалась с использованием следующих типов данных: 1. **Human-labeled data**: высококачественные звуковые сэмплы с прямыми транскриптами. 2. **Pseudo-labeled data**: автоматически сгенерированные транскрипты с помощью моделей ASR на более широко распространенных языках. 3. **Synthetic data**: созданные синтетические речи на основе генеративных моделей. Эта стратегия обучения позволила максимально эффективно использовать ресурсы для оптимизации моделей под конкретные языки. ### Технические решения - **Data Augmentation**: Использование генерируемых данных для увеличения разнообразия обучающих выборок. - **Knowledge Distillation**: Обучение модели на основе других моделей, позволивших достичь высокой точности с меньшим размером. ## Результаты ### Эксперименты Набор данных включал говорящие тесты на языках: арабский, китайский, иврит, японский, корейский, украинский и вьетнамский. Метрики оценки: Word Error Rate (WER) и Character Error Rate (CER). ### Результаты - **Сравнение с Whisper**: Модели Flavors of Moonshine достигли 48% более низкого WER по сравнению с Whisper Tiny. - **Сравнение с более крупными моделями**: В некоторых случаях даже превосходили Whisper Medium (28x больше по размеру). - **Поддержка недоступных ранее языков**: Модели позволили достичь точности, ранее не достижимой для этих языков. ## Значимость ### Области применения - **Edge Devices**: Например, смартфоны, смарт-спикеры, транскрибирование на устройствах на угловых кустах. - **Развитие языков**: Обеспечение точного ASR для языков, которые ранее были затруднены из-за отсутствия качественных моделей. ### Преимущества - **