Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction

2509.18497v1 cs.GR, cs.CV 2025-09-25
Авторы:

Kaiwen Jiang, Jia-Mu Sun, Zilu Li, Dan Wang, Tzu-Mao Li, Ravi Ramamoorthi

Резюме на русском

## Контекст Исследования в области разновидности радиусных полей (radiance fields) показали огромный потенциал в таких прикладных областях, как моделирование перспективных производительностей и восстановление геометрических форм. Однако, классические подходы, основанные на Gaussian splatting, сталкивались с ограничениями в моделировании отражений и световых условий, что приводило к значительным геометрическим неопределенностям и сложностям в процессе повторного осветления (relighting). Для устранения этих проблем может быть применена физическая основа в виде рендеринга, однако данный подход требует высокой вычислительной сложности. Ранее работы стремились сократить этот риск, применяя упрощения, которые делали решение эффективным, но менее точным. В данной работе предлагается новый подход, основанный на применении Gaussian surfels как основных примитивов, в контексте развития различных цветовых моделей, включая добавление учета интегральных операций в радиусных полях. ## Метод Основная идея работы заключается в представлении света и материалов с использованием теории радиосити (radiosity), но в рамках расширенной модели, которая учитывает не только бинарную видимость, но и полупрозрачные примитивы. Для этого вводится развитая архитектура, основанная на методе шаровых гармоник, которая позволяет моделировать как диффузное, так и спекулярное отражение. В дополнение, предложены новые алгоритмы, позволяющие эффективно решать задачи рендеринга и оптимизации цвета в контексте распределенного компьютерного визуализации. Также разработаны новые решения для внутреннего прохода оптимизации, которые эффективнее автоматических дифференциаторов. ## Результаты Исследование включает в себя многочисленные эксперименты с использованием различных данных и условий света. Были проведены эксперименты для оценки точности геометрического восстановления, производительности во время реализации и качества синтеза перспективных изображений. Результаты показали, что предложенный подход превосходит существующие базы данных и методы противоположной природы в области разновидности радиусных полей. Особое внимание было уделено оценке восстановления геометрии и качества релайтинга в условиях известных и неизвестных световых условий. ## Значимость Данная работа имеет значительное значение в области инверсного рендеринга и моделирования света. Она может быть применена в таких технологиях, как моделирование перспективных изображений, виртуальная реальность и анимация. Особым преимуществом является увеличение производительности, обеспечение точности и надежности во время оптимизации, что делает эту моде

Abstract

Radiance fields have gained tremendous success with applications ranging from novel view synthesis to geometry reconstruction, especially with the advent of Gaussian splatting. However, they sacrifice modeling of material reflective properties and lighting conditions, leading to significant geometric ambiguities and the inability to easily perform relighting. One way to address these limitations is to incorporate physically-based rendering, but it has been prohibitively expensive to include full global illumination within the inner loop of the optimization. Therefore, previous works adopt simplifications that make the whole optimization with global illumination effects efficient but less accurate. In this work, we adopt Gaussian surfels as the primitives and build an efficient framework for differentiable light transport, inspired from the classic radiosity theory. The whole framework operates in the coefficient space of spherical harmonics, enabling both diffuse and specular materials. We extend the classic radiosity into non-binary visibility and semi-opaque primitives, propose novel solvers to efficiently solve the light transport, and derive the backward pass for gradient optimizations, which is more efficient than auto-differentiation. During inference, we achieve view-independent rendering where light transport need not be recomputed under viewpoint changes, enabling hundreds of FPS for global illumination effects, including view-dependent reflections using a spherical harmonics representation. Through extensive qualitative and quantitative experiments, we demonstrate superior geometry reconstruction, view synthesis and relighting than previous inverse rendering baselines, or data-driven baselines given relatively sparse datasets with known or unknown lighting conditions.

Ссылки и действия