Domain-Aware Speaker Diarization On African-Accented English

## Контекст **Область исследования** Синтез речи и диаризация речи — важные задачи в области естественного языка процессинга, которые направлены на извлечение и анализ разговорных данных. Диаризация речи — это процесс распознавания участников разговора в аудиозаписях. Она играет ключевую роль в приложениях, таких как звонки с бесперебойным опытом пользователя, автоматическая расшифровка и мониторинг разговора. **Проблема** Несмотря на прогресс в области диаризации речи на английском языке, есть существенные проблемы в обработке африканских акцентов в тех же системах. Эти акценты часто отличаются морфологическими и синтаксическими особенностями, что приводит к повышенному количеству ошибок в системах, не приспособленных к ним. **Мотивация** Данное исследование ориентировано на изучение эффектов домена в диаризации речи африканского акцента на английском языке. Цель — изучить, как акцент и домен (такие как общий и клинический диалог) влияют на качество работы систем диаризации речи. ## Метод **Архитектура и Методология** Исследование использует несколько систем диаризации речи, включая производственные и открытые модели. Набор данных состоит из общих и клинических диалогов, проведенных в условиях реального мира. Для оценки качества диаризации применяется протокол с жестким уровнем ошибок (Strict DER), который учитывает объединения, разделения и пропуски участников разговора. **Технические Решения** На базе основной системы диаризации проводилась легковесная доменная адаптация, которая заключалась в оптимизации модуля сегментации с использованием набора акцент-совпадающих данных. Это решение предназначено для уменьшения ошибок, вызванных различиями в домене. **Ошибки и Анализ** Ошибки диаризации раDECOMPOSED и профилированы на уровне бесед. Большая часть ложных срабатываний и пропусков связана с короткими участками речи и частыми перекрытиями, что характерно для клинических диалогов. ## Результаты **Эксперименты** Системы были протестированы на двух типах диалогов — общих и клинических. В ходе экспериментов проанализировано, как африканский акцент и домен влияют на качество диаризации. Отмечено значительное повышение количества ошибок при обработке клинических диалогов по сравнению с общими. **Результаты Адаптации** Легковесная доменная адаптация, основанная на применении акцент-совпадающих данных, снизила частоту ошибок, но не полностью устранила различия в качестве диаризации между доменами. ## Значимость **Применения** Результаты исследования могут быть применены в системах автоматическо