ROSGS: Relightable Outdoor Scenes With Gaussian Splatting
2509.11275v1
cs.CV, I.2.10; I.3
2025-09-17
Авторы:
Lianjun Liao, Chunhui Zhang, Tong Wu, Henglei Lv, Bailin Deng, Lin Gao
Резюме на русском
#### Контекст
Изображения, сфотографированные на открытом воздухе, часто охватывают бесконечные сцены с непоследовательными, меняющимися условиями освещения. Это препятствует разделению этих сцен на геометрию, отражение и освещение. Недавние работы, основанные на Neural Radiance Fields (NeRF) или 3D Gaussian Splatting (3DGS), сталкиваются с проблемами высокого вычислительного накладываемого веса и низкочастотной моделью освещения, что приводит к неэффективному рендерингу и неточности в обратном освещении. Наша мотивация заключается в создании более эффективной и точной модели для построения и освещения внешних сцен.
#### Метод
Предлагаемая ROSGS-модель состоит из двух этапов. На первом этапе используется 2D Gaussian Splatting (2DGS) для определения геометрии сцены с помощью монокулярных нормальных привязок. Этот шаг обеспечивает эффективную и точную модель геометрии. На втором этапе, основываясь на полученной геометрии, мы применяем гибридную модель освещения. Для дирекционного солнечного освещения используется сферическая Гауссова функция, а для остальной низкочастотной части света — сферические Коэффициенты Шаря (Spherical Harmonics). Эта модель позволяет получить более точное и эффективное представление освещения.
#### Результаты
Мы провели эксперименты на стандартных датасетах для сравнения с другими моделями. Результаты показали, что ROSGS превосходит конкуренты в задаче обратного освещения, предоставляя точные результаты и эффективную обработку. Мы также провели сравнение с NeRF и 3DGS на реальных сценах, подтвердив, что наша модель предоставляет более высокое качество рендеринга и эффективность.
#### Значимость
Модель ROSGS может применяться в различных областях, включая виртуальную реальность, игры, а также в задачи анимации и моделирования внешних сцен. Основные преимущества заключаются в высокой точности в обратном освещении, эффективности рендеринга и широком применении в реальных задачах. Мы видим потенциал для её использования в сфере виртуальных интерфейсов, симуляции внешних пространств и даже в графике компьютерных игр.
#### Выводы
Предложенная модель ROSGS достигла нового уровня качества в обратном освещении внешних сцен, превосходя конкурентов по точности и эффективности. Мы также отметили необходимость будущих исследований в области улучшения гибридных моделей освещения и их применения в реальных сценах с более сложными условиями.
Abstract
Image data captured outdoors often exhibit unbounded scenes and
unconstrained, varying lighting conditions, making it challenging to decompose
them into geometry, reflectance, and illumination. Recent works have focused on
achieving this decomposition using Neural Radiance Fields (NeRF) or the 3D
Gaussian Splatting (3DGS) representation but remain hindered by two key
limitations: the high computational overhead associated with neural networks of
NeRF and the use of low-frequency lighting representations, which often result
in inefficient rendering and suboptimal relighting accuracy. We propose ROSGS,
a two-stage pipeline designed to efficiently reconstruct relightable outdoor
scenes using the Gaussian Splatting representation. By leveraging monocular
normal priors, ROSGS first reconstructs the scene's geometry with the compact
2D Gaussian Splatting (2DGS) representation, providing an efficient and
accurate geometric foundation. Building upon this reconstructed geometry, ROSGS
then decomposes the scene's texture and lighting through a hybrid lighting
model. This model effectively represents typical outdoor lighting by employing
a spherical Gaussian function to capture the directional, high-frequency
components of sunlight, while learning a radiance transfer function via
Spherical Harmonic coefficients to model the remaining low-frequency skylight
comprehensively. Both quantitative metrics and qualitative comparisons
demonstrate that ROSGS achieves state-of-the-art performance in relighting
outdoor scenes and highlight its ability to deliver superior relighting
accuracy and rendering efficiency.
Ссылки и действия
Дополнительные ресурсы: