SynParaSpeech: Automated Synthesis of Paralinguistic Datasets for Speech Generation and Understanding

## Контекст Паралюнгвистические звуки, такие как смех и сиг, являются ключевыми для создания более реалистичных и захватывающих речи. Однако существующие методы часто ограничиваются использованием проприетарных данных, тогда как свободно распространяемые ресурсы часто страдают от неполноты речи, неточности или отсутствия таймстемпов, а также от сильного ограничения на реальные условия. Данная работа стремится устранить эти проблемы, предложив автоматизированный подход для генерации больших объемов паралюнгвистических данных и создания датасета SynParaSpeech. Он включает шесть паралюнгвистических категорий с 118.75 часов данных, подробно оформленных с таймстемпами и собранными из естественных бесед. Вышел первый в своем роде метод для автоматического генерирования таких данных, что дает новые возможности для синтеза естественной паралюнгвистической речи и улучшения ее понимания. ## Метод Предлагаемый подход состоит в автоматизированной процедуре построения датасета, основанной на применении машинного обучения для идентификации паралюнгвистических событий в естественных речевых потоках. Используется глубокое нейронное сетевое устройство, которое обучается на меток паралюнгвистических событий из уже существующих датасетов. Оно способно определять и классифицировать такие события, даже в условиях шума и неточностей в звуковой структуре. Основным этапом является автоматическое размечвание данных с помощью метода группирования по аналогии и экспертной верификации, что обеспечивает точность и разнообразие результирующих данных. Метод целенаправленно используется для создания SynParaSpeech, посредством которого достигнуты высокие показатели в естественности синтезированной речи. ## Результаты Используя SynParaSpeech, проводились эксперименты, подтвердившие высокую точность классификации и синтеза паралюнгвистических звуков. Данные были сравнены с существующими датасетовами, и демонстрируются значительные преимущества в естественности и глубине понимания. Датасет был протестирован на различных задачах генерирования звука и распознавания паралюнгвистических событий. Результаты показали значительное улучшение качества речи и увеличение точности обнаружения паралюнгвистических событий в сравнении с базовыми методами. Эти результаты отражены в метриках, таких как F1-меру и точность распознавания. ## Значимость Основное применение SynParaSpeech заключается в синтезе естественной паралюнгвистической речи. Он может быть использован в разработке моделей распознавания речи, а также для создания новы