A Real-world Display Inverse Rendering Dataset

#### Контекст Обратная рендеринг (inverse rendering) — это процесс, при котором из изображений производятся вычисления о форме, цвете и физических характеристиках объектов. Один из вызовов в обратном рендеринге заключается в построении точных моделей для различных физических явлений, таких как отражение и рассеяние. Особый интерес представляет инверсный рендеринг в контексте использования дисплеев как источников света. Дисплеи, особенно те, что используются в LCD-экранах, могут функционировать как программируемые источники света, а полиаризованный свет, характерный для таких дисплеев, позволяет различать отраженный и рассеянный свет. Несмотря на эти преимущества, существует недостаток в реальных данных, полученных с использованием таких систем. Это проблема затрудняет развитие и оценивание методов обратного рендеринга, основанных на дисплеях. Мы предлагаем первый реального мира датасет, созданный с использованием дисплейно-камерной системы. #### Метод Для построения датасета мы разработали инженерную систему, состоящую из LCD-дисплея и двух стеропополяризационных камер. Для каждого объекта мы выполняли фотографирование под управлением специального шаблона освещения, называемого one-light-at-a-time (OLAT). В этом шаблоне, только один пиксель дисплея сразу действует как источник света, что позволяет получить точные данные для обратного рендеринга. Мы также подготовили ряд материалов с разными геометриями и отражательными характеристиками. Датасет также включает в себя качественные земные правдивые данные геометрии, позволяя проводить эксперименты и сравнивать методы обратного рендеринга. Мы также разработали метод для синтеза изображений с различными уровнями шума и любыми шаблонами освещения, что дает широкий круг возможностей для исследований. #### Результаты Мы провели эксперименты с использованием нашего датасета, оценивая работу существующих методов обратного рендеринга и фотометрического стероингининга. Наши результаты показывают, что методы, основанные на нашем датасете, превосходят те, что использовались ранее. Мы также показали, что наша модель дает более точные результаты в оценке физических характеристик объектов, таких как геометрия и отражение. Мы выпустили наш датасет и код нашего кода, доступные на нашем сайте, чтобы помочь другим исследователям в области обратного рендеринга. #### Значимость Наш датасет открывает новые возможности для исследований в области обратного рендеринга. Мы предоставляем реальные данные, полученные с использованием дисплеев, что является основ