Optimizing Neural Architectures for Hindi Speech Separation and Enhancement in Noisy Environments

## Контекст В современных условиях, где звукозаписи часто подвергаются помехам и шумам, необходимо развивать методы улучшения и разделения говорения. Эта проблема актуальна не только для работы с английским, но и с другими языками, включая хинди. Хинди является широко распространенным языком, особенно в Индии, где шумы окружающей среды сильно влияют на качество звукозаписи. Существующие методы разделения и улучшения говорения часто неэффективны, так как не приспособлены к специфике хинди и окружающих условий. Мотивацией для этого исследования является необходимость создания более точных и эффективных алгоритмов, которые могут оптимально работать в реальных условиях с шумом. ## Метод Данная работа основывается на рефинированном подходе к модели DEMUCS, которая использует U-Net и LSTM-слои для более тонкого улучшения говорения. Модель была настроена на датасет, состоящий из 400,000 звуковых сэмплов, включая хинди, английский и различные акустические условия. Для увеличения разнообразия данных были включены данные из наборов ESC-50 и MS-SNSD. Для оценки результатов использовались метрики PESQ и STOI, которые позволяют измерить качество разделения и улучшения говорения. Также, для применения на ресурс-констрейнтных устройствах, таких как TWS-бюдзы, рассматривались техники quantization, которые позволяют сократить нагрузку на процессор. ## Результаты Эксперименты показали, что предложенный подход значительно улучшает качество разделения и улучшения говорения в шумных условиях. Метрики PESQ и STOI показали высокую эффективность модели в сравнении с другими методами. Изученные результаты показали, что модель DEMUCS, усовершенствованная с помощью U-Net и LSTM, способна обеспечить лучшую интеллектуальность и четкость говорения, даже при высоких уровнях шума. Также, quantization-техники позволили снизить нагрузку на процессор, чтобы модель могла работать на бюджетных устройствах. ## Значимость Предложенные технологии могут быть применены в различных сферах, включая звукозапись, перевод, аудио-контент и умные гаджеты. Они предоставляют выгоду в улучшении качества говорения в шумных условиях, что существенно повышает комфорт пользователей. Благодаря quantization-техникам, модель может быть применена на бюджетных устройствах, что делает её более доступной для широкой аудитории. Это исследование также открывает возможности для дальнейшего исследования создания более эффективных алгоритмов для работы на edge-устройствах. ## Выводы Исследование показало, что модифицированная DEMUCS-модель, в сочетании с U-Net и LSTM, эффе