## Контекст Оценка дисфлюенции в речи является клллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллллл

## Контекст Несовершенство речи, характеризующееся говорящим через запястья, интерьерами и другими неструктурированными элементами, является значительной проблемой для систем, ориентированных на речевые вводимые данные. Эти неточности существенно снижают точность в интерпретации команд, суммировании текста и взаимодействии с беседами. Для улучшения понимания и обработки речи необходимо развитие методов, способных эффективно удалять эти несовершенства. Однако существующие тестировочные среды часто испытывают проблемы, недостаточно тщательно различая речевые несовершенства от ошибок в распознавании речи (ASR). Для того чтобы избежать этих недостатков, авторы предлагают DRES — новую контролируемую базу данных, которая позволяет детально изучать модели, ориентированные на удаление несовершенств речи. ## Метод DRES (Disfluency Removal Evaluation Suite) основан на говорящих сегментах, извлеченных из транскриптов Switchboard, которые были тщательно аннотированы для удаления речевых несовершенств. Эта база данных разделяет задачу удаления несовершенств от распознавания речи (ASR), чтобы снизить влияние ошибок в распознавании речи на результат. Кроме того, DRES предлагает моделирование различных сценариев, включая различные типы несовершенств и их контексты. Это позволяет провести подробные эксперименты с различными моделями, подходами к моделированию и стилями подкрепления. ## Результаты Естественным образом, ряд экспериментов проводился, чтобы сравнить различные модели в задаче удаления речевых несовершенств. Эти модели были протестированы на DRES, используюсь различные стили моделирования и конфигурации. Отдельное внимание было уделено семантическим ошибкам, которые могут возникнуть в результате удаления несовершенств. Эксперименты показали, что модели, ориентированные на разумное моделирование, часто игнорируют логические вспомогательные элементы и, следовательно, могут удалить больше текста, чем нужно. Однако модели с большим контекстом показали улучшение в общем понимании речи, но с меньшей точностью в отношении удаления несовершенств. ## Значимость Благодаря своей репликабельности и модельно-независимости, DRES предоставляет возможность для последовательных исследований в области удаления речевых несовершенств. Он позволяет лучше понять ошибки, которые могут возникнуть в речевых системах и помогает разрабатывать методы, которые лучше справляются с этими несовершенствами. Эта база данных также может быть использована в сферах, таких как разговорные помощники, системы транскрибирования и автоматическая синтеза речи, чтобы создать более точные и эффективные системы.

## Контекст В последние годы появились большие модели языка, которые обладают высокой точностью в обработке текстовых данных. Однако в сфере распознавания речи эти модели часто сталкиваются с проблемами, связанными с недостаточным пониманием контекста и паралюнгвистических признаков, таких как эмоциональные оттенки или тональность. Это ограничивает их применение в сценариях, требующих эмоционального рассуждения, таких как взаимодействия с клиентами или помощь людям с ограниченными функциями языка. Необходимо развить методы, которые позволят моделям лучше понимать и реагировать на эти паралюнгвистические сигналы, улучшая их эмоциональную интеллектуальность. ## Метод Мы предлагаем два подхода для включения контекста и паралюнгвистических признаков в обучение больших моделей речевого понимания. **Первый подход** — это прямое использование паралюнгвистической метаинформации, такой как аннотации эмоций, напрямую в процессе обучения модели. **Второй подход** — это автоматическое генерирование вопросов-ответов (QA-пар) на основе категориальных и димиенциональных аннотаций эмоций, а также речевых транскрипций. Этот подход позволяет модели не только получить информацию о контексте, но и сформировать самостоятельные мысли об эмоции, улучшая ее углубленное понимание. ## Результаты Мы провели эксперименты с применением двух подходов на корпусе QA-пар с человеческими аннотациями эмоций. Эксперименты показали, что **автоматическое генерирование QA-пар повышает точность модели на 38.41% в сравнении с базовой версией LLM**. Когда оба подхода (explicit и implicit) объединяются, результаты улучшаются до **46.02%**, что демонстрирует эффективность комбинированного подхода. Также мы проверили надежность LLM-judge, обнаружив высокую корреляцию с классическими методами оценки качества моделей. ## Значимость Наши результаты доказывают, что модели с поддержкой контекста и паралюнгвистических признаков могут значительно улучшиться в задачах, требующих эмоционального рассуждения. Это открывает широкие перспективы для использования в сферах, таких как клиентская служба, медицинское обслуживание и социальная поддержка. Преимущества нашего подхода также заключаются в том, что он может быть интегрирован в уже существующие модели без внесения значительных изменений в архитектуру и обучение. Это делает его привлекательным для практического применения. ## Выводы Мы успешно продемонстрировали, что интеграция контекста и паралюнгвистических признаков в модели речи-языка может значительно улучшить их эмоциональное понимание. Нашей