Out of the Box, into the Clinic? Evaluating State-of-the-Art ASR for Clinical Applications for Older Adults

#### Контекст Говорящие интерфейсы, такие как чатботы, могут стать важной поддержкой для старших поколений в клинических контекстах. Однако надежная технология звукового распознавания (ASR) для относительно мало représénteванных групп, таких как пенсионеры, остается значимой проблемой. Обучение ASR-систем под конкретную аудиторию требует больших объемов данных, что сложно в рамках данной целевой группы. В данном исследовании оцениваются современные мультилингвовые и прикладные модели ASR на голландском языке, используя реальные данные от пользователей Welzijn.AI, чатбота разработанного для старшего поколения. Основная задача — определить, достаточно ли готовых моделей для решения этой задачи или нужно применять дополнительное применение и усовершенствования. #### Метод Для исследования были использованы данные, собранные при взаимодействии с Welzijn.AI. Для оценки ASR-систем применялось звуковые фрагменты, на которых звучали вопросы и ответы пользователей. Оценивались три типа моделей: 1) готовые мультилингвовые модели; 2) модели, прикладной язык голландский старого поколения; 3) модели с архитектурой, обрезанной для ускорения работы. Оценивались качество распознавания (WER — Word Error Rate) и скорость обработки. #### Результаты Результаты показали, что мультилингвовые модели показали лучшие результаты по WER по сравнению с прикладными моделями, учитывая стандартные данные. Обрезанные модели показали схожий WER, но с меньшим временем работы. Однако были замечены случаи высокого WER из-за "халлуцинаций" — неправильных распознанных слов, которые могут сильно затруднить интеракцию. #### Значимость Полученные результаты показывают, что современные мультилингвовые модели ASR могут быть эффективно применены в клинических приложениях без дополнительных адаптаций. Это экономит время на обучении и позволяет широко применять готовые решения. Также, обрезанные модели могут быть полезны в ситуациях, когда требуется быстрая обработка, не жертвуя слишком сильно качеством. Однако, эти модели требуют дополнительного контроля, так как их могут сильно сказывать "халлуцинации". #### Выводы Основное достижение — показана эффективность мультилингвовых моделей ASR в клинических контекстах, даже без дополнительного тренирования. Будущие исследования будут сфокусированы на уменьшении "халлуцинаций" в моделях, чтобы сделать их более надежными для реальных клинических сценариев. Также будет рассмотрено расширение решений для других языков и поддержки региональных акцентов.