DualMat: PBR Material Estimation via Coherent Dual-Path Diffusion
2508.05060v1
cs.CV
2025-08-09
Авторы:
Yifeng Huang, Zhang Chen, Yi Xu, Minh Hoai, Zhong Li
Резюме на русском
В статье предлагается DualMat — метод для оценки тщательных экструдированных материалов (PBR) из одного изображения при сложных условиях освещения. Он решает проблему точной оценки материальных свойств, таких как альбедо, металличность и зернистость, которые обычно трудно определить из одного изображения. DualMat работает с двумя латентными пространствами: одно для улучшения оценки альбедо с помощью предобученных визуальных моделей, другое — для точной оценки металличности и зернистости. Для обеспечения согласованности предсказаний между этими пространствами введена техника функционального дистилляции. Метод эффективен благодаря регулированию потока и использованию кросс-видового внимания, что позволяет работать с высокорезольнными исходными данными. DualMat демонстрирует свое превосходство на двух больших наборах данных, Обжаверсе и реальных изображениях, улучшая оценки альбедо на 28% и сокращая ошибки в оценке металличности и зернистости на 39%. Это значительно повышает качество работы в области имитации физически приборных материалов в имитации трехмерного вида.
Abstract
We present DualMat, a novel dual-path diffusion framework for estimating
Physically Based Rendering (PBR) materials from single images under complex
lighting conditions. Our approach operates in two distinct latent spaces: an
albedo-optimized path leveraging pretrained visual knowledge through RGB latent
space, and a material-specialized path operating in a compact latent space
designed for precise metallic and roughness estimation. To ensure coherent
predictions between the albedo-optimized and material-specialized paths, we
introduce feature distillation during training. We employ rectified flow to
enhance efficiency by reducing inference steps while maintaining quality. Our
framework extends to high-resolution and multi-view inputs through patch-based
estimation and cross-view attention, enabling seamless integration into
image-to-3D pipelines. DualMat achieves state-of-the-art performance on both
Objaverse and real-world data, significantly outperforming existing methods
with up to 28% improvement in albedo estimation and 39% reduction in
metallic-roughness prediction errors.
Ссылки и действия
Дополнительные ресурсы: