TensoIS: A Step Towards Feed-Forward Tensorial Inverse Subsurface Scattering for Perlin Distributed Heterogeneous Media
2509.04047v1
cs.GR, cs.CV, cs.LG
2025-09-06
Авторы:
Ashish Tiwari, Satyam Bhardwaj, Yash Bachwana, Parag Sarvoday Sahu, T. M. Feroz Ali, Bhargava Chintalapati, Shanmuganathan Raman
Резюме на русском
## Контекст
Оценка параметров рассеяния в многообразных подземных средах представляется одной из самых сложных задач в области инверсных задач. Исследователи часто используют анализ-по-синтез или различные градиентные методы для решения этой задачи. Однако, многие из этих подходов ограничиваются небольшими изменениями в геометрии или структуре среды, не учитывая сложные и непредсказуемые искажения, которые могут возникнуть в реальных объектах. Другие подходы, основанные на различности, требуют высокой плотности сигнала и не всегда могут корректно работать с реальными темиными данными. Добавляя сложность, большинство существующих работ оставляют за собой решение задачи, ориентируясь на лишь часть ситуации, в основном, на одну конкретную форму или материал. Наша исследовательская группа стремилась развить новый, более общий подход к этой проблеме, используя процедурные модели шума, такие как Perlin и Fractal Perlin, для моделирования рассеяния в динамических, неоднородных подземных средах.
## Метод
Мы предлагаем TensoIS, нейросетевую модель, которая использует представление в виде низкоранговых тензоров для описания рассеяния в многообразных подземных средах. Модель TensoIS построена на основе Perlin Perlin noise, который моделирует сложные и непредсказуемые характеристики многообразных подземных сред. Мы разработали HeteroSynth — синтетический набор данных, содержащий перспективно съемки многообразных рассеяний в трехмерных средах, где рассеяние описано с помощью Perlin Perlin noise. Для обучения TensoIS мы сформировали несколько компонент низкого ранга, представляющих тривиальные распределения внутренних свойств материала. Эти компоненты используются для построения тензорной модели рассеяния. Мы тестировали TensoIS на нескольких наборах данных, включая синтетические данные HeteroSynth, реальные объекты и даже сложные геометрии, такие как дым и тучи.
## Результаты
В ходе экспериментов TensoIS показал высокую точность в оценке рассеяния в трехмерных многообразных подземных средах. Мы сравнили результаты TensoIS с моделями, основанными на других методах, таких как градиентные оптимизации и анализ-по-синтез. TensoIS демонстрировал значительное превосходство в точности и скорости работы, особенно при работе с большими многообразными подземными материалами. Мы также проверили TensoIS на реальных данных, таких как тучи и дым, и получили очень высокую точность в оценке рассеяния.
## Значимость
Мы видим в TensoIS значительный улучшение в области инверсных задач рассеяния в подземных средах. Модель TensoIS может быть использована в различных приложениях, таких как мет
Abstract
Estimating scattering parameters of heterogeneous media from images is a
severely under-constrained and challenging problem. Most of the existing
approaches model BSSRDF either through an analysis-by-synthesis approach,
approximating complex path integrals, or using differentiable volume rendering
techniques to account for heterogeneity. However, only a few studies have
applied learning-based methods to estimate subsurface scattering parameters,
but they assume homogeneous media. Interestingly, no specific distribution is
known to us that can explicitly model the heterogeneous scattering parameters
in the real world. Notably, procedural noise models such as Perlin and Fractal
Perlin noise have been effective in representing intricate heterogeneities of
natural, organic, and inorganic surfaces. Leveraging this, we first create
HeteroSynth, a synthetic dataset comprising photorealistic images of
heterogeneous media whose scattering parameters are modeled using Fractal
Perlin noise. Furthermore, we propose Tensorial Inverse Scattering (TensoIS), a
learning-based feed-forward framework to estimate these Perlin-distributed
heterogeneous scattering parameters from sparse multi-view image observations.
Instead of directly predicting the 3D scattering parameter volume, TensoIS uses
learnable low-rank tensor components to represent the scattering volume. We
evaluate TensoIS on unseen heterogeneous variations over shapes from the
HeteroSynth test set, smoke and cloud geometries obtained from open-source
realistic volumetric simulations, and some real-world samples to establish its
effectiveness for inverse scattering. Overall, this study is an attempt to
explore Perlin noise distribution, given the lack of any such well-defined
distribution in literature, to potentially model real-world heterogeneous
scattering in a feed-forward manner.
Ссылки и действия
Дополнительные ресурсы: