IntrinsicReal: Adapting IntrinsicAnything from Synthetic to Real Objects
2509.00777v1
cs.GR, cs.CV
2025-09-05
Авторы:
Xiaokang Wei, Zizheng Yan, Zhangyang Xiong, Yiming Hao, Yipeng Qin, Xiaoguang Han
Резюме на русском
#### Контекст
Оценка альбеда (т.е. интринсического разложения изображений) из одного RGB-изображения, снятого в реальных условиях, представляет собой сложную задачу. Особенно это актуально для случаев, когда недоступны пары изображений с соответствующими истинными альбедами. Несмотря на недавние прорывы, полученные с помощью методов, таких как IntrinsicAnything, эти методы обычно тренируются на больших синтетических датасетах (например, Objaverse) и применяются непосредственно к реальным RGB-изображениям. Это создает значительный областной разрыв, что приводит к недостаточной общеробычной производительности. Данная работа направлена на решение этой проблемы, предлагая IntrinsicReal — новую фреймворк для достижения эффективного доменного адаптирования.
#### Метод
IntrinsicReal предлагает инновационный подход к адаптации IntrinsicAnything к данным реального мира. Основной идеей является использование двухфазной концепции, в которой применяются две техники поддельного меток: i) определение меток с помощью абсолютного порога уверенности, и ii) определение меток на основе относительного порядка предпочтений классификатора. Эти методы опираются на то, что некоторые ситуации требуют относительных сравнений для точного определения качества, а не отдельных оценок. Для этого разработана две-фазная модель, которая применяет эти методы последовательно. Это позволяет переносить модель IntrinsicAnything из синтетического домена в реальный, улучшая ее общеробычную производительность.
#### Результаты
Исследования проводились на датасетах MVImgNet и Objaverse. Наравне с IntrinsicAnything, IntrinsicReal показала значительные улучшения в оценке альбеда на реальных данных. Особенно выдачные результаты были получены при использовании двухфазной стратегии меток. Эксперименты показали, что IntrinsicReal существенно превосходит существующие методы, достигая новых рекордов в оценке альбеда как на синтетических, так и на реальных данных.
#### Значимость
Процесс адаптации, предложенный в IntrinsicReal, имеет широкие приложения в области визуального распознавания и альбеды-ориентированных приложений. Основная преимуществом является улучшение общеробычной производительности приложений, которое может быть использовано в различных сценариях, от виртуальной реальности до автоматизации производственных процессов. Будущие исследования будут направлены на расширение функциональности и применение таких подходов в более сложных сценариях.
#### Выводы
IntrinsicReal достигла значительных улучшений в области интринсического разложения изображений для реальных объектов. Его двухфазная стратегия меток оказалась эффективной для преодоления областного разрыва. О
Abstract
Estimating albedo (a.k.a., intrinsic image decomposition) from single RGB
images captured in real-world environments (e.g., the MVImgNet dataset)
presents a significant challenge due to the absence of paired images and their
ground truth albedos. Therefore, while recent methods (e.g., IntrinsicAnything)
have achieved breakthroughs by harnessing powerful diffusion priors, they
remain predominantly trained on large-scale synthetic datasets (e.g.,
Objaverse) and applied directly to real-world RGB images, which ignores the
large domain gap between synthetic and real-world data and leads to suboptimal
generalization performance. In this work, we address this gap by proposing
IntrinsicReal, a novel domain adaptation framework that bridges the
above-mentioned domain gap for real-world intrinsic image decomposition.
Specifically, our IntrinsicReal adapts IntrinsicAnything to the real domain by
fine-tuning it using its high-quality output albedos selected by a novel dual
pseudo-labeling strategy: i) pseudo-labeling with an absolute confidence
threshold on classifier predictions, and ii) pseudo-labeling using the relative
preference ranking of classifier predictions for individual input objects. This
strategy is inspired by human evaluation, where identifying the highest-quality
outputs is straightforward, but absolute scores become less reliable for
sub-optimal cases. In these situations, relative comparisons of outputs become
more accurate. To implement this, we propose a novel two-phase pipeline that
sequentially applies these pseudo-labeling techniques to effectively adapt
IntrinsicAnything to the real domain. Experimental results show that our
IntrinsicReal significantly outperforms existing methods, achieving
state-of-the-art results for albedo estimation on both synthetic and real-world
datasets.
Ссылки и действия
Дополнительные ресурсы: