GAP: Gaussianize Any Point Clouds with Text Guidance
2508.05631v1
cs.CV
2025-08-09
Авторы:
Weiqi Zhang, Junsheng Zhou, Haotian Geng, Wenyuan Zhang, Yu-Shen Liu
Резюме на русском
3D Gaussian Splatting (3DGS) широко применяется для быстрого и качественного рендеринга трёхмерных объектов. Однако прямая конвертация цветных точечных множеств в Гауссовы функции остается неразрешённой проблемой. В статье предлагается GAP — новая методика, которая способна изменять точечные множества в высококачественные 3D-Гауссовы функции с помощью текстового указания. Авторы предлагают многогранный подход, включающий: оптимизацию на множестве многопрозрачных видов с помощью диффузионной модели, закрепляющуюся за поверхностью, и стратегию полного восстановления сложно-обнаруживаемых областей. Эти методы гарантируют верность геометрии и обогащают детализацию. Исследование GAP проводилось на искусственных и реальных точечных множествах, включая большие сцены. Результаты показывают, что GAP эффективно решает проблему перехода от точечных множеств к Гауссовым моделям, демонстрируя высокую точность и качество.
Abstract
3D Gaussian Splatting (3DGS) has demonstrated its advantages in achieving
fast and high-quality rendering. As point clouds serve as a widely-used and
easily accessible form of 3D representation, bridging the gap between point
clouds and Gaussians becomes increasingly important. Recent studies have
explored how to convert the colored points into Gaussians, but directly
generating Gaussians from colorless 3D point clouds remains an unsolved
challenge. In this paper, we propose GAP, a novel approach that gaussianizes
raw point clouds into high-fidelity 3D Gaussians with text guidance. Our key
idea is to design a multi-view optimization framework that leverages a
depth-aware image diffusion model to synthesize consistent appearances across
different viewpoints. To ensure geometric accuracy, we introduce a
surface-anchoring mechanism that effectively constrains Gaussians to lie on the
surfaces of 3D shapes during optimization. Furthermore, GAP incorporates a
diffuse-based inpainting strategy that specifically targets at completing
hard-to-observe regions. We evaluate GAP on the Point-to-Gaussian generation
task across varying complexity levels, from synthetic point clouds to
challenging real-world scans, and even large-scale scenes. Project Page:
https://weiqi-zhang.github.io/GAP.
Ссылки и действия
Дополнительные ресурсы: