HoloGarment: 360° Novel View Synthesis of In-the-Wild Garments

#### Контекст Отрисовка предметов в 360° позволяет получить разногласие вида, что широко применяется в графике компьютерной графики, виртуальной реальности и ретуши. Однако, новые виды (novel view synthesis, NVS) на предметах, особенно на одежде, требуются труднообходимые условия: сильные затенения, нетиповые позы тела, деформации ткани. Использование синтетических 3D-данных, часто статичных и без затенения, оказывается неэффективным в реальной жизни. Целью данной работы является создание метода, позволяющего генерировать 360°-виды предметов, одежды в частности, в непредсказуемых реальных условиях. #### Метод Предлагаемый подход, HoloGarment, основан на создании "атласа" ткани, который представляет собой 3D-представление всех видов предмета в точках 360°. Метод принимает в качестве входных данных от 1 до 3 изображений или видео с перемещением человека в одежде и генерирует 360°-виды в канонической позе. Главным инновационным решением является создание универсального метода, который объединяет 3D-трэйнинг с реальными 2D-данными. Это достигается с помощью внедрения имплазированного тренировочного парадигмы, в которой тренируется общий пространственный семантический признак для реальных и синтетических данных. Для построения атласа ткани, используется формирование трехмерной модели предмета на основе реальных видов с последующим оптимизационным процессом, который позволяет генерировать канвонные виды в любых положениях. #### Результаты Исследования проводились на стандартных датасетах, включающих как 2D-изображения, так и 3D-модели. Результаты показали, что HoloGarment превосходит другие методы NVS, особенно на видах, где требуется учитывать затенения, деформации ткани и различные позы тела. Доказано, что HoloGarment может быстро адаптироваться к новым данным, создавая точные 3D-модели по 2D-изображениям. Это улучшение в NVS в реальных условиях достигается благодаря совмещению данных из разных источников и оптимизации пространственных семантических признаков. #### Значимость Метод HoloGarment может применяться в сферах синтеза и редактирования изображений, виртуальной и расширенной реальности, где требуется точное 3D-представление одежды в различных позях. Он отличается робастностью в работе с реальными условиями, такими как затенения, неоднородность ткани, ошибки позы. Этот подход может быть использован для виртуального трибуна и модных коллекций, где нужно быстро подготовить 3D-модели в разных позях. #### Выводы Результаты свидетельствуют о том, что HoloGarment является новато