Fairness in Dysarthric Speech Synthesis: Understanding Intrinsic Bias in Dysarthric Speech Cloning using F5-TTS

## КОНТЕКСТ И ПРОБЛЕМАТИКА Неартрическая речь, вызваная неврологическими расстройствами, представляет значительные трудности для разработки помощительных технологий речи. Основной проблемой является ограниченность доступных данных, что существенно ограничивает возможности обучения моделей речи. В последнее время, нейронные модели речевого синтеза, особенно технологии нулевого выстреливания голоса (zero-shot voice cloning), позволяют создавать синтезированную речь для дополнения данных (data augmentation). Однако эти модели могут ввести существенные предубеждения (biases) в отношении неартрической речи, что может повлиять на качество синтезированной речи. В данном исследовании рассматривается проблема несправедливости (unfairness) в синтезированной речи, особенно при анализе речи с различными степенями неартрии. Исследование фокусируется на том, как модели синтеза речи воспроизводят речь людей с неартрией, и на том, как можно оценить качество синтеза с точки зрения интеллектуальности (intelligibility), подобия голоса (speaker similarity) и сохранения просодических особенностей (prosody preservation). Кроме того, в работе проводится анализ возможных смещений (bias) с помощью метрик справедливости, таких как Disparate Impact и Parity Difference, чтобы определить возможные неравенства в синтезированной речи для разных степеней неартрии. ## ПРЕДЛОЖЕННЫЙ МЕТОД В качестве базового метода для синтеза речи используется F5-TTS, современная модель нейронного синтеза речи, которая позволяет реализовывать нулевое выстреливание голоса (zero-shot voice cloning). Метод основывается на использовании датасета TORGO, который содержит записи речи людей с неартрией различной степени тяжести. Модель F5-TTS обучается на этих данных с целью воспроизведения речи, сохраняя как можно больше информации о голосе и просодии. Для оценки биасов (bias) в синтезированной речи используются метрики справедливости, такие как Disparate Impact и Parity Difference. Эти метрики позволяют оценивать, насколько синтезированная речь отражает реальные различия в речи людей с разными степенями неартрии, и выявлять возможные недостатки в модели. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В экспериментах было использовано датасет TORGO, который включает в себя записи речи людей с неартрией разной степени. Результаты показали, что модель F5-TTS демонстрирует высокую точность в воспроизведении интеллектуальной речи (intelligibility), однако с недостаточной точностью в сохранении голоса говорящего (speaker similarity) и просодии (prosody). Это может указывать на существование биасов в модели, которые предпочли бы сохранение интеллектуальности речи над другими аспектами. Кроме того, использование метрик справедливости показало, что модель F5-TTS может демонстрировать неравенство в отношении разных степеней неартрии, где речь более выразительная (intelligible) людей с более легкой формой неартрии получает более высокий рейтинг качества. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Результаты этого исследования могут быть использованы для разработки более справедливых и инклюзивных технологий речевого синтеза, особенно для людей с неартрией. Особенно важно обеспечить, чтобы синтезированная речь была доступна и понятна для всех пользователей, независимо от степени неартрии. Информация, полученная из этого исследования, может помочь в создании моделей, которые будут учитывать различные аспекты речи, включая интеллектуальность, голос и просодию, чтобы создавать более качественную и справедливую речь. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование показало, что модель F5-TTS имеет сильный биас в отношении интеллектуальности речи при синтезировании речи людей с неартрией. Это может быть важно для будущих исследований, особенно в контексте разработки более справедливых моделей речи. Будущие исследования могут фокусироваться на том, как улучшить модели речи так, чтобы они были более справедливыми и учитывали различные аспекты речи, не только интеллектуальность, но и голос и просодию. Кроме того, можно рассмотреть возможность использования более разнообразных данных для обучения моделей, чтобы снизить возможное влияние биасов.