Video2Roleplay: A Multimodal Dataset and Framework for Video-Guided Role-playing Agents

## Контекст В последние годы возросло интерес к развитию ролевых агентов (Role-playing Agents, RPAs), которые способны эмулировать имимерсивные и интерактивные персонажи в различных ситуациях. Однако существующие подходы значительно ограничены, так как основываются только на статических характеристиках персонажей и не учитывают их динамические характеристики, такие как восприятие и реакция на внешний мир. Это существенно ограничивает возможности RPAs в создании более живых и натуральных общений. Мотивирует это тем, что человеческое восприятие и интерактивность характеризуются значительно более гибким, динамическим подходом, который недостаточно учтен в нынешних моделях. Наше исследование направлено на решение этой проблемы, вводя динамические ролевые профили, которые интегрируют видео модальность в RPAs. ## Метод Мы предлагаем Role-playing-Video60k — большой, высококачественный датасет, содержащий 60 тысяч видеозаписей и соответствующих им 700 тысяч диалогов. Для построения динамического ролевого профиля мы адаптивно выбираем кадры из видео и подаем их в трансформерные модели в порядке их воспроизведения. Для динамического ролевого профиля также включается контекстная информация из входных видео во время инференса. Для создания статического профиля используются диалоги персонажей из обучающих видео и краткий сводный контекст из входных видео для инференса. Наша фреймворк сочетает эти два подхода для генерирования более естественных и контекстуально верных ответов. Оценка эффективности проводится по 8 метрикам, чтобы гарантировать тщательное исследование возможностей фреймворка. ## Результаты Мы провели тщательное экспериментальное исследование, используя три основных набора данных, в том числе наш Role-playing-Video60k. Эксперименты показали, что интеграция динамических ролевых профилей значительно улучшает качество ответов RPAs. Мы также проверили различные аспекты нашей модели, включая точность восприятия контекста, гибкость в реагировании на видео, а также время и ресурсы, необходимые для обработки. Эти результаты отражают не только повышение качества ответов, но и эффективность нашей модели в условиях реальной ситуации. ## Значимость Предлагаемый подход может быть применен в различных областях, таких как виртуальные ассистенты, игровые персонажи и даже системы обучения через игровые сценарии. Он предоставляет значительные преимущества, такие как повышение точности и интерактивности в общении, а также расширение возможностей для пользователей. Будущие исследования смо