#### Контекст На сMODERNЖОРСТКИЙ 3D-активы являются ключевым компонентом для многих отраслей, включая игры, виртуальную реальность, архитектурное проектирование и др. Несмотря на то, что недавние 3D-предобученные модели демонстрируют выдающиеся результаты в генерации реалистичного 3D-контента, большинство из них основываются на моделях размытия и придерживаются двухэтапной схемы: первым шагом выполняется генерация геометрии, а затем — синтез визуальных свойств. Такой декомпозированный подход часто приводит к проблемам, таким как несоответствие геометрии и текстуры, а также неэффективность процесса. В данной работе мы предлагаем UniLat3D — унифицированную модель, которая объединяет геометрию и визуальные свойства в единый вариант латентного пространства. Это позволяет упростить процесс до единого этапа, обеспечивая быструю и эффективную генерацию 3D-моделей. #### Метод UniLat3D основывается на геометрия-визуальном Unified VAE (UVAE), который сжимает высокоразрешенные спарсевые признаки в компактное латентное представление — UniLat. UniLat содержит информацию о геометрии и визуальных свойствах в качестве разреженной высокоразмерной формы и компактной низкоразмерной формы. Это латентное представление может быть эффективно декодировано в различные форматы 3D, такие как 3D-Гауссовы распределения и мешы. Для обучения UniLat3D мы используем единый модельный подход с целью напрямую сопоставлять шум Гаусса с UniLat. Это позволяет избежать декомпозиции процесса на два этапа и упростить архитектуру. Мы обучаем модель только на открытых 3D-данных, чтобы она могла генерировать качественные 3D-активы в считанные секунды из одного изображения. #### Результаты Мы провели подробные эксперименты для сравнения UniLat3D с другими 3D-представлениями и моделями генерации. Наши результаты показывают, что UniLat3D достигает высшего уровня качества геометрии и визуальных свойств по сравнению с двухэтапными моделями. Мы использовали данные в разных форматах, включая 3D-сканы, для обучения и вывода. UniLat3D в среднем генерирует модели за 2-3 секунды, что значительно опережает существующие методы по скорости и качеству. #### Значимость UniLat3D может быть применено в различных областях, таких как игровое производство, виртуальная реальность, архитектурное проектирование и др. Он обеспечивает более быструю генерацию 3D-активов с высоким качеством, уменьшая необходимость в дополнительных этапах обработки. Также UniLat3D может показать выигрыш в энергоэффек

#### Контекст Отрисовка предметов в 360° позволяет получить разногласие вида, что широко применяется в графике компьютерной графики, виртуальной реальности и ретуши. Однако, новые виды (novel view synthesis, NVS) на предметах, особенно на одежде, требуются труднообходимые условия: сильные затенения, нетиповые позы тела, деформации ткани. Использование синтетических 3D-данных, часто статичных и без затенения, оказывается неэффективным в реальной жизни. Целью данной работы является создание метода, позволяющего генерировать 360°-виды предметов, одежды в частности, в непредсказуемых реальных условиях. #### Метод Предлагаемый подход, HoloGarment, основан на создании "атласа" ткани, который представляет собой 3D-представление всех видов предмета в точках 360°. Метод принимает в качестве входных данных от 1 до 3 изображений или видео с перемещением человека в одежде и генерирует 360°-виды в канонической позе. Главным инновационным решением является создание универсального метода, который объединяет 3D-трэйнинг с реальными 2D-данными. Это достигается с помощью внедрения имплазированного тренировочного парадигмы, в которой тренируется общий пространственный семантический признак для реальных и синтетических данных. Для построения атласа ткани, используется формирование трехмерной модели предмета на основе реальных видов с последующим оптимизационным процессом, который позволяет генерировать канвонные виды в любых положениях. #### Результаты Исследования проводились на стандартных датасетах, включающих как 2D-изображения, так и 3D-модели. Результаты показали, что HoloGarment превосходит другие методы NVS, особенно на видах, где требуется учитывать затенения, деформации ткани и различные позы тела. Доказано, что HoloGarment может быстро адаптироваться к новым данным, создавая точные 3D-модели по 2D-изображениям. Это улучшение в NVS в реальных условиях достигается благодаря совмещению данных из разных источников и оптимизации пространственных семантических признаков. #### Значимость Метод HoloGarment может применяться в сферах синтеза и редактирования изображений, виртуальной и расширенной реальности, где требуется точное 3D-представление одежды в различных позях. Он отличается робастностью в работе с реальными условиями, такими как затенения, неоднородность ткани, ошибки позы. Этот подход может быть использован для виртуального трибуна и модных коллекций, где нужно быстро подготовить 3D-модели в разных позях. #### Выводы Результаты свидетельствуют о том, что HoloGarment является новато

## Контекст Оценка качества 3D-сцен — ключевой вопрос в области компьютерного зрения и информационных технологий. Основные метрики, такие как PSNR, SSIM и LPIPS, ориентированы на общую картину или изображение в целом, не учитывая фундаментальную структуру 3D-сцены, состоящую из отдельных объектов. Это приводит к расхождениям с оценками человеческого зрения. Нейропсихологические исследования подтверждают, что люди при оценке 3D-сцен привлекают внимание к отдельным объектам, а не к сцене в целом. Это свойство не учитывают существующие метрики. Необходимо разработать метод, который бы отражал объектный аспект представления 3D-сцен, чтобы лучше соответствовать человеческому восприятию. ## Метод Мы предлагаем **Objectness Similarity (OSIM)** — новую метрику для оценки 3D-сцен, которая фокусируется на отдельных объектах в сцене. OSIM использует модель обнаружения объектов для вычисления "objectness" каждого отдельного объекта в сцене. "Objectness" определяется как вероятность того, что часть сцены относится к определенному объекту. Мы используем концепции из модели Kohonen Self-Organizing Maps (SOM) для построения базисных объектов и выделения каждого отдельного объекта в сцене. Эта архитектура позволяет выделить связь между частями сцены и объектами, чтобы получить более точную оценку "objectness". ## Результаты Мы провели эксперименты на наборе данных ShapeNet, используя ряд существующих метрик и OSIM. Результаты показали, что OSIM выдает более точные оценки по сравнению с остальными метриками, особенно в ситуациях, когда важно сохранять целостность объектов в сцене. Мы также провели пользовательский испытательный цикл, в котором участники оценивали качество сцен на основе их "objectness". Обнаружено, что результаты пользователей лучше согласуются с оценками OSIM, чем с другими метриками. Это показывает, что OSIM более естественно соответствует человеческому восприятию. ## Значимость Метрика OSIM может быть применена в сферах, требующих точной оценки 3D-сцен, таких как генерация 3D-сцен, реконструкция, виртуальная реальность и имитация человеческого восприятия. OSIM обеспечивает более точное отображение человеческих ощущений при оценке 3D-сцен, что может улучшить результаты в области машинного зрения и интеллектуальных систем. Этот подход может привести к более точному пониманию и интерактивности с 3D-сценами в приложениях, таких как виртуальная и аugmented реальность. ## Выводы Разработанная метрика OSIM представляет собой новую точку зрения на оценку качества 3D-сцен, сосредоточенную на объектах. Наши эксперименты показали, что OSIM более точно соо