ArtiFree: Detecting and Reducing Generative Artifacts in Diffusion-based Speech Enhancement

## Контекст Diffusion-based speech enhancement (SE) является перспективной технологией, которая позволяет достичь естественного звучания и высокую степень общеприменимости. Однако она сталкивается с такими ограничениями, как присутствие генерируемых артефактов и высокая задержка при обработке. Эти проблемы становятся ключевыми препятствиями для применения diffusion-based SE в реальных сценариях, где высокая точность и низкая задержка являются критически важными. Одним из основных аспектов, который требует решения, является то, что артефакты генеративного характера могут влиять на точность распознавания речи и ухудшать качество семантического содержания. Изучение этой проблемы и разработка эффективных методов для ее решения могут способствовать расширению возможностей diffusion-based SE в полевых приложениях. ## Метод В работе предлагается создать методику, основанную на семантических признаках, для предсказания и устранения генерируемых артефактов в diffusion-based SE. Модель работает путем анализа разброса эмбеддингов речи во время работы модели и использования этих метрик для предсказания генерируемых ошибок. Для устранения артефактов предложено использовать множественные запуски модели с разными настройками, позволяющими сравнивать результаты и выбирать те, которые лучше согласуются с семантическими признаками речи. Этот подход включает в себя адаптивный выбор количества шагов в процессе распространения, который позволяет сбалансировать степень устранения артефактов и задержку вывода. Метод рассматривает данные в разных условиях отношения сигнал-шум (SNR), чтобы проверить его эффективность в разных сценариях. ## Результаты Исследования проводились на широком наборе данных, включая условия с высоким и низким отношением сигнал-шум (SNR). Результаты показали, что метод снижает Word Error Rate (WER) на 15% в условиях низкого SNR, что является существенным улучшением в сравнении с базовой моделью. Также было проведено анализирование семантического содержания звуков, подтвердив, что подход сведет силу к генерируемым артефактам и повысит точность распознавания речи. Эксперименты также показали, что адаптивный выбор шагов распространения позволяет достичь более эффективного баланса между уменьшением артефактов и низкой задержкой вывода. ## Значимость Предлагаемый подход может быть применен в различных областях, таких как звуковая обработка, транскрибирование речи, голосовые помощники и трансляция речи в разные языки. Одним из основных преимуществ является уменьшение генерируемых артефактов, что положительно сказывается на качестве получаемого результата. Это может сделать diffusion-