Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity for Efficient Relighting and Geometry Reconstruction
2509.18497v1
cs.GR, cs.CV
2025-09-25
Авторы:
Kaiwen Jiang, Jia-Mu Sun, Zilu Li, Dan Wang, Tzu-Mao Li, Ravi Ramamoorthi
Резюме на русском
## Контекст
Исследования в области разновидности радиусных полей (radiance fields) показали огромный потенциал в таких прикладных областях, как моделирование перспективных производительностей и восстановление геометрических форм. Однако, классические подходы, основанные на Gaussian splatting, сталкивались с ограничениями в моделировании отражений и световых условий, что приводило к значительным геометрическим неопределенностям и сложностям в процессе повторного осветления (relighting). Для устранения этих проблем может быть применена физическая основа в виде рендеринга, однако данный подход требует высокой вычислительной сложности. Ранее работы стремились сократить этот риск, применяя упрощения, которые делали решение эффективным, но менее точным. В данной работе предлагается новый подход, основанный на применении Gaussian surfels как основных примитивов, в контексте развития различных цветовых моделей, включая добавление учета интегральных операций в радиусных полях.
## Метод
Основная идея работы заключается в представлении света и материалов с использованием теории радиосити (radiosity), но в рамках расширенной модели, которая учитывает не только бинарную видимость, но и полупрозрачные примитивы. Для этого вводится развитая архитектура, основанная на методе шаровых гармоник, которая позволяет моделировать как диффузное, так и спекулярное отражение. В дополнение, предложены новые алгоритмы, позволяющие эффективно решать задачи рендеринга и оптимизации цвета в контексте распределенного компьютерного визуализации. Также разработаны новые решения для внутреннего прохода оптимизации, которые эффективнее автоматических дифференциаторов.
## Результаты
Исследование включает в себя многочисленные эксперименты с использованием различных данных и условий света. Были проведены эксперименты для оценки точности геометрического восстановления, производительности во время реализации и качества синтеза перспективных изображений. Результаты показали, что предложенный подход превосходит существующие базы данных и методы противоположной природы в области разновидности радиусных полей. Особое внимание было уделено оценке восстановления геометрии и качества релайтинга в условиях известных и неизвестных световых условий.
## Значимость
Данная работа имеет значительное значение в области инверсного рендеринга и моделирования света. Она может быть применена в таких технологиях, как моделирование перспективных изображений, виртуальная реальность и анимация. Особым преимуществом является увеличение производительности, обеспечение точности и надежности во время оптимизации, что делает эту моде
Abstract
Radiance fields have gained tremendous success with applications ranging from
novel view synthesis to geometry reconstruction, especially with the advent of
Gaussian splatting. However, they sacrifice modeling of material reflective
properties and lighting conditions, leading to significant geometric
ambiguities and the inability to easily perform relighting. One way to address
these limitations is to incorporate physically-based rendering, but it has been
prohibitively expensive to include full global illumination within the inner
loop of the optimization. Therefore, previous works adopt simplifications that
make the whole optimization with global illumination effects efficient but less
accurate. In this work, we adopt Gaussian surfels as the primitives and build
an efficient framework for differentiable light transport, inspired from the
classic radiosity theory. The whole framework operates in the coefficient space
of spherical harmonics, enabling both diffuse and specular materials. We extend
the classic radiosity into non-binary visibility and semi-opaque primitives,
propose novel solvers to efficiently solve the light transport, and derive the
backward pass for gradient optimizations, which is more efficient than
auto-differentiation. During inference, we achieve view-independent rendering
where light transport need not be recomputed under viewpoint changes, enabling
hundreds of FPS for global illumination effects, including view-dependent
reflections using a spherical harmonics representation. Through extensive
qualitative and quantitative experiments, we demonstrate superior geometry
reconstruction, view synthesis and relighting than previous inverse rendering
baselines, or data-driven baselines given relatively sparse datasets with known
or unknown lighting conditions.
Ссылки и действия
Дополнительные ресурсы: