RealMat: Realistic Materials with Diffusion and Reinforcement Learning

## Контекст Реалистичные материалы являются ключевым компонентом в создании 3D-контента, особенно для виртуальных и увеличивающихся реальностей. Однако существующие методы генерации материалов часто полагаются на синтетические данные, которые обеспечивают точную супервизию, но часто приводят к значительной визуальной разнице с реальными материалами. Другие подходы, основанные на малых, но реальных коллекциях фотографий, стрелянных под естественным освещением, ограничиваются в масштабе и разнообразии. Эта проблема ставит достижение высокого реализма в генерации материалов в острое решение. ## Метод Мы предлагаем **RealMat**, метод, использующий распространение (diffusion) и значительные признаки реализма для генерации реальных материалов. Мы начинаем с файн-тюнинга модели Stable Diffusion XL (SDXL) с помощью синтетических материалов в формате $2 \times 2$ грида. Это позволяет нашей модели унаследовать реализм SDXL, при этом приспособившись к данным синтетических материалов. Однако остается реализмский шаг, поскольку некоторые генерируемые материалы по-прежнему выглядят синтетическими. Чтобы разрешить эту проблему, мы применяем методы за renforcement learning (RL), включая настройку с помощью награды, определяемой метрикой реализма. Для этого мы собрали большую коллекцию реальных материалов под естественным освещением, которая используется для обучения модели к более реалистичным результатам. ## Результаты Мы проводим эксперименты, сравнивая нашу модель с текущими методами генерации материалов. Данными для экспериментов являются реальные материалы, подвергнутые естественному освещению. Результаты показывают, что наш подход значительно увеличивает реализм генерируемых материалов по сравнению с базовой моделью и с работами, основанными на синтетических данных. Мы также демонстрируем, что наша модель может генерировать материалы, которые лучше совпадают с реальными образами, предоставленными нашими данными. ## Значимость Наш подход имеет широкие потенциальные приложения в 3D-авторстве и виртуальных реальностях. Он может упростить процесс создания реальных материалов, уменьшив время и ошибки в сравнении с ручной работой. Благодаря использованию реальных признаков и принципа RL, наш метод позволяет создавать материалы, которые более точно отражают реальность. Это может потенцировать создание более интересных и вдохновляющих визуальных моделей. ## Выводы Мы предлагаем RealMat, новая модель генерации материалов, которая использует распространение и за renforcement learning, чтобы у