RealisMotion: Decomposed Human Motion Control and Video Generation in the World Space

#### Контекст Генерация видео с реалистичными и контролируемыми движениями является важной и сложной задачей в области компьютерного зрения и глубокого обучения. Несмотря на то, что существующие методы могут создавать видимо привлекательные видео, они обычно не предоставляют возможность контролировать отдельные элементы, такие как персонаж, фон, движения и поведение. Эта недостаточность ограничивает гибкость и применимость таких моделей в реальной жизни. Мы предлагаем новую методологию, декомпозирующую проблему на независимые подзадачи, что позволяет контролировать каждый из этих аспектов видео. #### Метод Мы предлагаем разделенную модель управления движениями и генерацией видео в трехмерном пространстве, включающую несколько ключевых компонентов. Во-первых, мы используем трехмерную систему координат, ориентированную на поверхность земли, чтобы редактировать движения в пространстве. Траектории персонажа контролируются путем преобразования распечатанных 2D-карт в 3D с использованием калибровки фокуса и преобразования координат. Также, мы добавляем возможность регулировать скорость и ориентацию. Для генерации движений мы используем банк движений или текстовые модели, которые создают траектории. Для генерации видео мы вводим текст-to-video Diffusion Transformer модель, встраивающую персонажа как токены для полного внимания, конкатенируя фоновое видео и создавая сигналы для управления движениями путем сложения. #### Результаты Мы проверили нашу модель на нескольких бенчмарк-датасетах и реальных сценариях. Наши эксперименты показали, что модель достигает стадии лидирующего производителя по контролируемости и качеству видео. Мы сравнили нашу модель с текущими лидерами, и она показала значительное преимущество в четырёх первичных элементах видео: персонажа, фона, движений и траекторий. Мы также выполнили различные реальные примеры, показав способность нашей модели по-новому покопаться в ряде задач связанных с генерацией видео. #### Значимость Наша модель решает важное задание, предоставляя полный контроль над отдельными элементами видео. Она может применяться в сферах, таких как тренировки, развлечения, презентации, и даже в области кинематографии. Благодаря своей гибкости и мощи, модель открывает новые возможности для творчества и реалистичного моделирования движений. #### Выводы Мы представили новую компонентную модель для генерации видео с контролируемыми движениями. Наша модель демонстрирует выдающиеся результаты в области контролируемой генерации видео, а также открывает пути для дальнейшего исследовани