VoxRole: A Comprehensive Benchmark for Evaluating Speech-Based Role-Playing Agents

## Контекст Область исследования, связанная с ролевыми персонажами в рамках бесед с использованием звуковых и текстовых данных, находится в стадии активного развития. Большинство исследований в данной области фокусируются на текстовых данных, но не учитывают важные возможности звуковых данных, таких как интонация, просодия и ритм. Эти элементы важны для описания эмоций персонажа и создания живых ролевых профилей. Несмотря на то, что текстовые данные используются в беседах с ролевыми персонажами, есть нехватка эффективных стандартизированных методов для оценки моделей в контексте звуковых данных. Это приводит к неполному пониманию текущих моделей и их ограничений в сохранении ролевого профиля. Было решено создать VoxRole как первый комплексный бенчмарк для оценки звуковых ролевых персонажей. ## Метод В VoxRole включены 13335 многократных диалогов, добавляя всего 65.6 часов звуковых данных в 261 фильмах. Он основан на новой двухэтапной автоматической технологии. В первой стадии алгоритмы синхронизируют звуковые файлы с субтитрами и формируют скрипт. Во второй стадии систематически создаются ролевые профили для каждого персонажа с помощью LLM, который использует скрипт и звуковые файлы. Это позволяет определить не только текстовый контент, но и звуковые характеристики, важные для описания эмоций и персонажа. ## Результаты Был проведен эксперимент с использованием VoxRole для оценки моделей звуковых диалогов. Модели были оценены по нескольким критериям, включая точность, качество звука и продолжительность диалогов. Были выявлены различия в результатах в зависимости от типов моделей и параметров. Например, некоторые модели демонстрировали лучшую точность, но было замечено снижение качества звука. Эти результаты дали понимание, как модели справляются с разными аспектами ролевой игры в звуковых диалогах. ## Значимость VoxRole может быть применен в разных сферах, включая развитие ролевых персонажей, звуковых диалогов и синтез речи. Он предоставляет стандартный метод для оценки моделей звуковых диалогов и позволяет исследователям улучшить качество звука, эмоции и ролевую игру. Также он может использоваться для создания более живых и консистентных ролевых профилей, что повысит качество пользовательского опыта. ## Выводы VoxRole является первым комплексным бенчмарком для оценки звуковых ролевых диалогов. Он подчеркивает важность использования звуковых функций для оценки ролевых моделей и помогает улучшить их качество. Будучи открытым исто