MoAngelo: Motion-Aware Neural Surface Reconstruction for Dynamic Scenes
2509.15892v1
cs.GR, cs.AI, cs.CV
2025-09-23
Авторы:
Mohamed Ebbed, Zorah Lähner
Резюме на русском
## Контекст
**Область исследования.** Динамическая реконструкция трехмерных сцен по многоканальным видео позволяет получить детальную модель объекта или сцены, позволяя исследователям изучать развитие динамики в пространстве. Несмотря на успехы в статической 3D-реконструкции, динамические сцены представляют дополнительные сложности, такие как шум в выходных моделях и ограничения в репрезентации объектов с изменяющейся геометрией.
**Проблема.** Задача динамической реконструкции требует высокого качества и точности, но существующие методы часто сталкиваются с проблемами, такими как шум в результирующих моделях и сглаживание геометрических деталей. Эти ограничения связаны с особенностями динамической природы сцены, включая изменение топологии и подвижность объектов.
**Мотивация.** В данной работе рассматривается подход к решению проблемы динамической реконструкции, используя динамический расширенный подход к методу NeuralAngelo. Название статьи — MoAngelo, которое отражает направление развития: motion-aware neural surface reconstruction (подвижность-ориентированная нейронная поверхностная реконструкция).
## Метод
**Основные принципы.** Основой метода является расширение статического подхода NeuralAngelo для динамических сцен. Метод NeuralAngelo строит трехмерную модель на основе шаблона, созданного из исходных кадров видео. В рамках MoAngelo, шаблон-шейпер (т.е. шаблонная модель) используется для начальной реконструкции, а динамическая оптимизация включает в себя процесс синхронизации и уточнения этого шаблона в соответствии с последовательностью видео-кадров.
**Особенности технологии.** Разработанный подход включает в себя несколько ключевых этапов:
1. **Начальная реконструкция:** шаблонная модель геометрии сцены извлекается из первого кадра видео.
2. **Динамическая оптимизация:** движение шаблона адаптируется к видео-последовательности с помощью деформационных полей.
3. **Интеграция изменений:** для обработки случаев, когда деформационное поле не может обеспечить точность, внесены локальные изменения в геометрию.
**Архитектура.** Фреймворк MoAngelo основывается на нейросетевой архитектуре, где деформационные поля используются для оптимизации шаблона. Алгоритм также включает в себя модуль оптимизации, который анализирует последовательность видео и оптимизирует шаблон для каждого кадра.
## Результаты
**Эксперименты.** Метод был проверен на датасете ActorsHQ, содержащем высококачественные видео с динамическими сценами. Эксперименты показали, что MoAngelo превосходит существующие методы по метрикам точности и качества реконструкции
Abstract
Dynamic scene reconstruction from multi-view videos remains a fundamental
challenge in computer vision. While recent neural surface reconstruction
methods have achieved remarkable results in static 3D reconstruction, extending
these approaches with comparable quality for dynamic scenes introduces
significant computational and representational challenges. Existing dynamic
methods focus on novel-view synthesis, therefore, their extracted meshes tend
to be noisy. Even approaches aiming for geometric fidelity often result in too
smooth meshes due to the ill-posedness of the problem. We present a novel
framework for highly detailed dynamic reconstruction that extends the static 3D
reconstruction method NeuralAngelo to work in dynamic settings. To that end, we
start with a high-quality template scene reconstruction from the initial frame
using NeuralAngelo, and then jointly optimize deformation fields that track the
template and refine it based on the temporal sequence. This flexible template
allows updating the geometry to include changes that cannot be modeled with the
deformation field, for instance occluded parts or the changes in the topology.
We show superior reconstruction accuracy in comparison to previous
state-of-the-art methods on the ActorsHQ dataset.
Ссылки и действия
Дополнительные ресурсы: