MTalk-Bench: Evaluating Speech-to-Speech Models in Multi-Turn Dialogues via Arena-style and Rubrics Protocols

## Контекст Появление говорящих моделей, использующихся в реальном времени, вызвало значительные прогрессы в области обеспечения бесперебойных диалогов. Однако, существующие фреймворки для оценки этих моделей часто недостаточно эффективны для анализа поведения в сложных, многократно взаимодействующих диалогах. Для решения этой проблемы был разработан MTalk-Bench — новый бенчмарк для оценки моделей в области многократного взаимодействия (multi-turn dialogues) с учетом трех основных аспектов: семантическая информация, паралингвистическая информация и аудиоклимат (ambient sound). Этот бенчмарк предлагает широкий спектр сценариев для подробного анализа возможностей моделей, в том числе вопросы логического рассуждения и другие. Эта разработка позволяет оценивать модели как в сравнительном, так и в абсолютном ключе, с использованием подходам Arena-style и Rubrics-based. ## Метод Методология MTalk-Bench основывается на двух основных этапах: Arena-style evaluation и Rubrics-based evaluation. В первом случае проводится сравнительный анализ моделей с использованием парных оценок (pairwise comparison). Во втором — используется абсолютная оценка, где каждый ответ оценивается по определенным критериям. Бенчмарк включает не только модельные ответы, но и ответы от реальных пользователей, которые также проходят оценку человеческими и модельными оценщиками. Таким образом, MTalk-Bench предоставляет полную картину качества работы моделей в различных сценариях. Данные, используемые для экспериментов, включают как модельные ответы, так и гуманные ответы, которые проходят детальную оценку. ## Результаты В ходе экспериментов было выявлено, что модели S2S LLMs демонстрируют отличную работу в области семантической информации, однако существуют слабые места при обработке паралингвистической информации и звукового климата (ambient sound). Также было замечено, что модели могут улучшить выразительность ответов, увеличивая их длину, однако это снижает эффективность в многократном взаимодействии. На практике, модели, разработанные с помощью задачно-ориентированных подходов, показали более высокую эффективность по сравнению с "грубым" масштабированием моделей. Анализ оценочных подходов Arena и Rubrics показал, что оба подхода достаточно надежны, однако различия становятся явными только при больших разностях в качестве выполнения. Также были выявлены ряд ограничений, в частности, LLM-as-a-judge показал хорошую сводость с оценками человека, но существуют позиционные и длительностные биасы. ## Значимость MTalk-Bench представляет собой важное инструментальное решение для оценки моделей S2S в многократных диалогах. Он может быть примен