MonoCloth: Reconstruction and Animation of Cloth-Decoupled Human Avatars from Monocular Videos

2508.04505v1 cs.CV 2025-08-09
Авторы:

Daisheng Jin, Ying He

Резюме на русском

Реалистичная реконструкция 3D-аватаров из монокулярных видео представляет собой сложную задачу, ограниченную недостатком геометрической информации и сложной неструктурированной динамикой. В статье предлагается MonoCloth — метод, который реализует реконструкцию и анимацию одетого человека с использованием монокулярных видео. Для улучшения результатов, авторы предлагают декомпозицию тела на части: тело, лицо, руки и одежда. Это помогает учесть различия в сложности реконструкции и деформации для каждой части. Особое внимание уделяется анализу детальной геометрии лица и рук, а для одежды — новому модулю симуляции одежды, использующему временные и геометрические сигналы. Эксперименты показали, что MonoCloth выдает более точные и реалистичные результаты по сравнению с другими методами. Благодаря декомпозиционному подходу, MonoCloth также поддерживает задачи переодевания, увеличивая его практическую значимость в различных задачах глубокого обучения.

Abstract

Reconstructing realistic 3D human avatars from monocular videos is a challenging task due to the limited geometric information and complex non-rigid motion involved. We present MonoCloth, a new method for reconstructing and animating clothed human avatars from monocular videos. To overcome the limitations of monocular input, we introduce a part-based decomposition strategy that separates the avatar into body, face, hands, and clothing. This design reflects the varying levels of reconstruction difficulty and deformation complexity across these components. Specifically, we focus on detailed geometry recovery for the face and hands. For clothing, we propose a dedicated cloth simulation module that captures garment deformation using temporal motion cues and geometric constraints. Experimental results demonstrate that MonoCloth improves both visual reconstruction quality and animation realism compared to existing methods. Furthermore, thanks to its part-based design, MonoCloth also supports additional tasks such as clothing transfer, underscoring its versatility and practical utility.

Ссылки и действия