Bridging Diffusion Models and 3D Representations: A 3D Consistent Super-Resolution Framework

2508.04090v1 cs.CV 2025-08-09
Авторы:

Yi-Ting Chen, Ting-Hsuan Liao, Pengsheng Guo, Alexander Schwing, Jia-Bin Huang

Резюме на русском

**Резюме** В статье представлено новое решение для суперразрешения 3D-сцен — 3D Super Resolution (3DSR). Этот подход основывается на 3D-представлении сцены с использованием Gaussian-splatting и использует нейронные сети типа diffusion model для улучшения суперразрешения в двухмерных изображениях. Основная идея заключается в том, чтобы обеспечить консистентность 3D-представления при повышении разрешения, что отличает данный подход от предыдущих методов, которые либо не учитывали консистентности 3D-сцены, либо пытались её внедрить интуитивно. Результаты экспериментов показали, что 3DSR выдает высококачественные, визуально привлекательные результаты с хорошей структурной консистентностью в 3D-сценах, при этом не требуя дополнительного оптимизационного тренирования. Это демонстрирует эффективность нового подхода в решении проблемы 3D-суперразрешения, обеспечивая качественный результат с простым и универсальным подходом.

Abstract

We propose 3D Super Resolution (3DSR), a novel 3D Gaussian-splatting-based super-resolution framework that leverages off-the-shelf diffusion-based 2D super-resolution models. 3DSR encourages 3D consistency across views via the use of an explicit 3D Gaussian-splatting-based scene representation. This makes the proposed 3DSR different from prior work, such as image upsampling or the use of video super-resolution, which either don't consider 3D consistency or aim to incorporate 3D consistency implicitly. Notably, our method enhances visual quality without additional fine-tuning, ensuring spatial coherence within the reconstructed scene. We evaluate 3DSR on MipNeRF360 and LLFF data, demonstrating that it produces high-resolution results that are visually compelling, while maintaining structural consistency in 3D reconstructions. Code will be released.

Ссылки и действия