WaveletGaussian: Wavelet-domain Diffusion for Sparse-view 3D Gaussian Object Reconstruction
2509.19073v1
cs.CV, eess.IV, eess.SP
2025-09-25
Авторы:
Hung Nguyen, Runfa Li, An Le, Truong Nguyen
Резюме на русском
## Контекст
3D Gaussian Splatting (3DGS) является мощным представлением для изображения-основанной реконструкции объектов. Однако в условиях спарсе-вида (sparse-view) его эффективность значительно снижается. До этого, работы предлагали использовать диффузионные модели для исправления поврежденных рендерингов, которые потом использовались как поддельные земные правди для последующих оптимизаций. Эти подходы, хотя и эффективны, но требуют значительных вычислительных ресурсов из-за трудоемкости шагов диффузионного моделирования и исправления. Наша цель — разработать более эффективный подход для реконструкции 3D-объектов в условиях спарсе-вида, уменьшив накладные расходы на вычисления и улучшив качество реконструкции.
## Метод
Мы предлагаем WaveletGaussian — новую фреймворк, который переносит диффузионный процесс в волновой домен (wavelet domain). Здесь, диффузия применяется только к низкочастотной подставке LL, в то время как высокочастотные подставки LH, HL, и HH рефинируются с помощью лёгкой сети нейронной сети. Это позволяет существенно сократить требования к вычислительным ресурсам. Более того, мы предлагаем эффективную онлайн-стратегию для случайного маскирования (online random masking strategy) для генерации обучающих пар диффузионного моделирования, заменяя устаревший, но менее эффективный, leave-one-out подход.
## Результаты
Мы провести эксперименты на двух основных бенчмарк-датасетах: Mip-NeRF 360 и OmniObject3D. Наши результаты показывают, что WaveletGaussian достигает качества рендеринга, которое не только соперничает с лучшими существующими методами, но и значительно сокращает время обучения. Это означает, что наш подход не только эффективнее, но и экономичнее по сравнению с предшествующими работами.
## Значимость
Наш подход имеет широкие области применения в изображении-основанной графике и виртуальной реальности. Он предлагает значительные преимущества, такие как высокая эффективность, качественную реконструкцию, и низкие требования к вычислительным ресурсам. Это может способствовать развитию новых технологий в области визуализации и интерактивных систем.
## Выводы
Мы предложили WaveletGaussian — новый подход к диффузионной реконструкции 3D-объектов в условиях спарсе-вида. Наши результаты показали, что применение диффузии в волновом домене, вместе с эффективной стратегией маскирования, может значительно улучшить качество реконструкции и сократить время обучения. Мы планируем продолжать работу в этом направлении, ориентируясь на улучшение точности и эффективности диффузионных моделей для об
Abstract
3D Gaussian Splatting (3DGS) has become a powerful representation for
image-based object reconstruction, yet its performance drops sharply in
sparse-view settings. Prior works address this limitation by employing
diffusion models to repair corrupted renders, subsequently using them as pseudo
ground truths for later optimization. While effective, such approaches incur
heavy computation from the diffusion fine-tuning and repair steps. We present
WaveletGaussian, a framework for more efficient sparse-view 3D Gaussian object
reconstruction. Our key idea is to shift diffusion into the wavelet domain:
diffusion is applied only to the low-resolution LL subband, while
high-frequency subbands are refined with a lightweight network. We further
propose an efficient online random masking strategy to curate training pairs
for diffusion fine-tuning, replacing the commonly used, but inefficient,
leave-one-out strategy. Experiments across two benchmark datasets, Mip-NeRF 360
and OmniObject3D, show WaveletGaussian achieves competitive rendering quality
while substantially reducing training time.