WildSmoke: Ready-to-Use Dynamic 3D Smoke Assets from a Single Video in the Wild
2509.11114v1
cs.CV, cs.LG
2025-09-17
Авторы:
Yuqiu Liu, Jialin Song, Manolis Savva, Wuyang Chen
Резюме на русском
#### Контекст
Графика с высоким уровнем детализации (high-quality graphics) становится все более востребованой в области видеоигр, анимации и виртуальной реальности. Одним из самых сложных аспектов этой области является хорошо реализованная динамическая трёхмерная текстура, такая как дым. Несмотря на успехи в сфере 3D-визуализации, создание динамического дыма в реальном видео остается задачей, требующей значительных усилий. Основная проблема заключается в том, что создание дыма в реальных условиях требует тщательного планирования и контроля, в то время как съемки в "дикой природе" часто подвергаются другим техническим и художественным ограничениям. Мы предлагаем WildSmoke, мощную и гибкую систему, которая может извлекать, воссоздавать и редактировать динамический 3D-дым из одного видео, захваченного в "дикой природе".
#### Метод
Мы предлагаем новую рабочую программу, которая включает в себя несколько специальных методов для решения проблем, связанных с выделением дыма из видео, инициализацией частиц дыма и позиционированием камеры. В нашем подходе мы используем нейронные сети для определения и очистки фона в видео, чтобы получить только дымовые эффекты. Затем мы инициализируем частицы дыма и позицию камеры, используя методы, основанные на глубоком обучении. Наконец, мы воссоздаем 4D-дымовые активы, используя многовидные видео, чтобы добиться реалистичности и точности. Этот подход позволяет создавать дымовые эффекты, которые могут быть редактированы интерактивно, что даёт возможность пользователям подстраивать их под свои потребности.
#### Результаты
Мы проверили нашу систему на широком спектре видео, захваченных в "дикой природе", и сравнили результаты с похожими системами. Наши результаты показали существенное улучшение в качестве воспроизведения дыма (+2.22 PSNR в среднем для видео из "дикой природы"). Мы также провели тесты на редактировании дыма, в которых пользователи могли изменять динамику дыма в реальном времени. Оценки, полученные от экспертов в области CGI (Computer-Generated Imagery), подтвердили, что наши результаты выдаются качественно более высокими по сравнению с другими методами.
#### Значимость
Наш подход открывает новые возможности для создания дыма в динамичных 3D-сценах, которые могут использоваться в различных отраслях, включая видеоигры, анимацию, виртуальную реальность и даже в области обучения и безопасности. Наша система не только создает высококачественные дымовые эффекты, но и предоставляет возможности для интерактивного редактирования, что может упростить процесс разработки контента. Мы предоставили нашу с
Abstract
We propose a pipeline to extract and reconstruct dynamic 3D smoke assets from
a single in-the-wild video, and further integrate interactive simulation for
smoke design and editing. Recent developments in 3D vision have significantly
improved reconstructing and rendering fluid dynamics, supporting realistic and
temporally consistent view synthesis. However, current fluid reconstructions
rely heavily on carefully controlled clean lab environments, whereas real-world
videos captured in the wild are largely underexplored. We pinpoint three key
challenges of reconstructing smoke in real-world videos and design targeted
techniques, including smoke extraction with background removal, initialization
of smoke particles and camera poses, and inferring multi-view videos. Our
method not only outperforms previous reconstruction and generation methods with
high-quality smoke reconstructions (+2.22 average PSNR on wild videos), but
also enables diverse and realistic editing of fluid dynamics by simulating our
smoke assets. We provide our models, data, and 4D smoke assets at
[https://autumnyq.github.io/WildSmoke](https://autumnyq.github.io/WildSmoke).
Ссылки и действия
Дополнительные ресурсы: