InterAct: A Large-Scale Dataset of Dynamic, Expressive and Interactive Activities between Two People in Daily Scenarios

## Контекст В целях повышения качества распознавания и изучения динамичных интерактивных поведений между двумя людьми, авторы проводят исследования в области моделирования и предсказания человеческих механизмов коммуникации. Основной проблемой является учет сложных интерактивных ситуаций, которые включают в себя движения, выражения лица и звуковые сигналы, развивающиеся в течение длительного времени. Традиционные модели часто ограничиваются моделированием одного человека или разговорных жестов двух людей, не учитывая изменения ориентации и позиции тела в процессе взаимодействия. Мотивация для данного исследования заключается в разработке более точных методов моделирования дважды параллельно — индивидуальных движений каждого участника и их взаимодействия. ## Метод Для решения вышеуказанных вопросов был разработан метод, основанный на моделировании динамических и семантически точных взаимодействий. Для этого был создан новый датасет InterAct, включающий в себя 241 последовательностей движений двух участников, которые выполняют задачи или взаимодействуют в реальных сценариях. Основная особенность датасета — полная модель взаимодействия: аудио, телесные движения и выражения лица каждого участника записываются в течение одной минуты или дольше. Для моделирования разработана методика, основанная на методах распространения (diffusion-based methods), при которой движения тела регрессируются по шагам и улучшаются с помощью механизма гибкой файн-тюнинга для более точных выражений лица. ## Результаты Результаты исследования показали высокую точность в предсказании движений и выражений лица в интерактивных сценариях. Данные из датасета InterAct демонстрируют перспективу в развитии методов моделирования интерактивных поведений, недоступных ранее. Регрессия движений в два этапа позволила повысить точность и консистентность моделей. Также была продемонстрирована возможность адаптации модели к уточнению выражений лица, что улучшило точность воспроизведения лица в течение длительного времени. ## Значимость Полученные результаты имеют широкие практические приложения в разработке систем видеоанализа, синтеза глубокого значения и виртуальных актеров. Модель InterAct может быть применена в области видеоигр, развития систем виртуальных реальности и видеоредактирования. Особенностью данного подхода является то, что он позволяет моделировать не только телесные движения, но и выражения лица и звуковые сигналы, что делает результаты более реалистичными и информативными. ## Выводы Исследование показало, что InterAct — это первый датасет, который полностью модели