#### Контекст На сMODERNЖОРСТКИЙ 3D-активы являются ключевым компонентом для многих отраслей, включая игры, виртуальную реальность, архитектурное проектирование и др. Несмотря на то, что недавние 3D-предобученные модели демонстрируют выдающиеся результаты в генерации реалистичного 3D-контента, большинство из них основываются на моделях размытия и придерживаются двухэтапной схемы: первым шагом выполняется генерация геометрии, а затем — синтез визуальных свойств. Такой декомпозированный подход часто приводит к проблемам, таким как несоответствие геометрии и текстуры, а также неэффективность процесса. В данной работе мы предлагаем UniLat3D — унифицированную модель, которая объединяет геометрию и визуальные свойства в единый вариант латентного пространства. Это позволяет упростить процесс до единого этапа, обеспечивая быструю и эффективную генерацию 3D-моделей. #### Метод UniLat3D основывается на геометрия-визуальном Unified VAE (UVAE), который сжимает высокоразрешенные спарсевые признаки в компактное латентное представление — UniLat. UniLat содержит информацию о геометрии и визуальных свойствах в качестве разреженной высокоразмерной формы и компактной низкоразмерной формы. Это латентное представление может быть эффективно декодировано в различные форматы 3D, такие как 3D-Гауссовы распределения и мешы. Для обучения UniLat3D мы используем единый модельный подход с целью напрямую сопоставлять шум Гаусса с UniLat. Это позволяет избежать декомпозиции процесса на два этапа и упростить архитектуру. Мы обучаем модель только на открытых 3D-данных, чтобы она могла генерировать качественные 3D-активы в считанные секунды из одного изображения. #### Результаты Мы провели подробные эксперименты для сравнения UniLat3D с другими 3D-представлениями и моделями генерации. Наши результаты показывают, что UniLat3D достигает высшего уровня качества геометрии и визуальных свойств по сравнению с двухэтапными моделями. Мы использовали данные в разных форматах, включая 3D-сканы, для обучения и вывода. UniLat3D в среднем генерирует модели за 2-3 секунды, что значительно опережает существующие методы по скорости и качеству. #### Значимость UniLat3D может быть применено в различных областях, таких как игровое производство, виртуальная реальность, архитектурное проектирование и др. Он обеспечивает более быструю генерацию 3D-активов с высоким качеством, уменьшая необходимость в дополнительных этапах обработки. Также UniLat3D может показать выигрыш в энергоэффек

#### Контекст Отрисовка предметов в 360° позволяет получить разногласие вида, что широко применяется в графике компьютерной графики, виртуальной реальности и ретуши. Однако, новые виды (novel view synthesis, NVS) на предметах, особенно на одежде, требуются труднообходимые условия: сильные затенения, нетиповые позы тела, деформации ткани. Использование синтетических 3D-данных, часто статичных и без затенения, оказывается неэффективным в реальной жизни. Целью данной работы является создание метода, позволяющего генерировать 360°-виды предметов, одежды в частности, в непредсказуемых реальных условиях. #### Метод Предлагаемый подход, HoloGarment, основан на создании "атласа" ткани, который представляет собой 3D-представление всех видов предмета в точках 360°. Метод принимает в качестве входных данных от 1 до 3 изображений или видео с перемещением человека в одежде и генерирует 360°-виды в канонической позе. Главным инновационным решением является создание универсального метода, который объединяет 3D-трэйнинг с реальными 2D-данными. Это достигается с помощью внедрения имплазированного тренировочного парадигмы, в которой тренируется общий пространственный семантический признак для реальных и синтетических данных. Для построения атласа ткани, используется формирование трехмерной модели предмета на основе реальных видов с последующим оптимизационным процессом, который позволяет генерировать канвонные виды в любых положениях. #### Результаты Исследования проводились на стандартных датасетах, включающих как 2D-изображения, так и 3D-модели. Результаты показали, что HoloGarment превосходит другие методы NVS, особенно на видах, где требуется учитывать затенения, деформации ткани и различные позы тела. Доказано, что HoloGarment может быстро адаптироваться к новым данным, создавая точные 3D-модели по 2D-изображениям. Это улучшение в NVS в реальных условиях достигается благодаря совмещению данных из разных источников и оптимизации пространственных семантических признаков. #### Значимость Метод HoloGarment может применяться в сферах синтеза и редактирования изображений, виртуальной и расширенной реальности, где требуется точное 3D-представление одежды в различных позях. Он отличается робастностью в работе с реальными условиями, такими как затенения, неоднородность ткани, ошибки позы. Этот подход может быть использован для виртуального трибуна и модных коллекций, где нужно быстро подготовить 3D-модели в разных позях. #### Выводы Результаты свидетельствуют о том, что HoloGarment является новато

## Контекст Оценка качества 3D-сцен — ключевой вопрос в области компьютерного зрения и информационных технологий. Основные метрики, такие как PSNR, SSIM и LPIPS, ориентированы на общую картину или изображение в целом, не учитывая фундаментальную структуру 3D-сцены, состоящую из отдельных объектов. Это приводит к расхождениям с оценками человеческого зрения. Нейропсихологические исследования подтверждают, что люди при оценке 3D-сцен привлекают внимание к отдельным объектам, а не к сцене в целом. Это свойство не учитывают существующие метрики. Необходимо разработать метод, который бы отражал объектный аспект представления 3D-сцен, чтобы лучше соответствовать человеческому восприятию. ## Метод Мы предлагаем **Objectness Similarity (OSIM)** — новую метрику для оценки 3D-сцен, которая фокусируется на отдельных объектах в сцене. OSIM использует модель обнаружения объектов для вычисления "objectness" каждого отдельного объекта в сцене. "Objectness" определяется как вероятность того, что часть сцены относится к определенному объекту. Мы используем концепции из модели Kohonen Self-Organizing Maps (SOM) для построения базисных объектов и выделения каждого отдельного объекта в сцене. Эта архитектура позволяет выделить связь между частями сцены и объектами, чтобы получить более точную оценку "objectness". ## Результаты Мы провели эксперименты на наборе данных ShapeNet, используя ряд существующих метрик и OSIM. Результаты показали, что OSIM выдает более точные оценки по сравнению с остальными метриками, особенно в ситуациях, когда важно сохранять целостность объектов в сцене. Мы также провели пользовательский испытательный цикл, в котором участники оценивали качество сцен на основе их "objectness". Обнаружено, что результаты пользователей лучше согласуются с оценками OSIM, чем с другими метриками. Это показывает, что OSIM более естественно соответствует человеческому восприятию. ## Значимость Метрика OSIM может быть применена в сферах, требующих точной оценки 3D-сцен, таких как генерация 3D-сцен, реконструкция, виртуальная реальность и имитация человеческого восприятия. OSIM обеспечивает более точное отображение человеческих ощущений при оценке 3D-сцен, что может улучшить результаты в области машинного зрения и интеллектуальных систем. Этот подход может привести к более точному пониманию и интерактивности с 3D-сценами в приложениях, таких как виртуальная и аugmented реальность. ## Выводы Разработанная метрика OSIM представляет собой новую точку зрения на оценку качества 3D-сцен, сосредоточенную на объектах. Наши эксперименты показали, что OSIM более точно соо

## Контекст Область исследования, связанная с реальном времени интеракцией человека с роботом в индустриальном Metaverse, становится все более важной в условиях растущего интереса к удобству и эффективности работы в управлении распределенными системами. Однако эта область сталкивается с рядом технических проблем, включая высокую сложность обработки данных, ограниченную пропускную способность сетей и жесткие ограничения по задержкам. Эти ограничения могут приводить к неточности, задержкам и нестабильности в реальном времени. Для решения этих проблем, предлагается использование фреймворка, основанного на цифровых двойниках (DTs), который позволяет реализовать прогностические и превентивные механизмы. Цифровые двойники декомпозируются на две функции: отображение визуальных данных и контроль удаленных устройств, чтобы обеспечить эффективность и адаптивность. Такой подход имеет потенциал для повышения производительности, точности и надежности в индустриальных Metaverse-системах. ## Метод Предлагаемый фреймворк построен на использовании цифровых двойников, которые разделены на две функции: обработка визуальных данных и контроль удаленных устройств. Он включает в себя алгоритм Human-In-The-Loop Model-Agnostic Meta-Learning (HITL-MAML) для оптимизации прогностических моделей. Этот алгоритм анализирует динамические изменения в действиях оператора и адаптирует предсказания в реальном времени, чтобы обеспечить точность и прогностическую способность. Для улучшения производительности и снижения задержек, рассматривается функциональное разделение устройств, чтобы использовать их в зависимости от того, могут ли они обеспечить реальное время обработки данных. Такая архитектура позволяет повысить эффективность и реагировать на изменения в реальном времени. ## Результаты Проведены эксперименты с двумя типами задач: Trajectory-Based Drawing Control и 3D scene representation for nuclear decommissioning. В первой задаче, с использованием фреймворка, был снижен весьточный RMSE с 0.0712 м до 0.0101 м. Во второй задаче, относящейся к реализации 3D-сцен, фреймворк достиг PSNR 22.11, SSIM 0.8729 и LPIPS 0.1298, что демонстрирует высокую точность и качество визуальной обработки. Эти результаты показывают, что фреймворк эффективно решает проблемы реального времени в индустриальных Metaverse-системах, обеспечивая точность и стабильность. ## Значимость Предлагаемый подход может быть применен в различных индустриальных сценариях, например, в аэронавтике, автомобилестроении и ядерной энергетике. Он обеспечивает повышение точности и прогностической способности, что может повысить безопасность и эффективность робото

## Контекст Одной из основных проблем в области машинного обучения для роботов является недостаточность качественных данных для обучения и тестирования. Нейронные сети, используемые в робототехнике, часто требуют больших объемов данных, охватывающих разнообразные сцены и сценарии. Однако существующие методы, основанные на реконструкции нейросетевыми методами, часто привязаны к статическим сценам и имеют ограниченную гибкость в управлении сценами и траекториями. Это ограничивает их применение в ситуациях, требующих более высокой динамичности и контроля. Методы, основанные на искусственных изображениях и видео, предлагают большую гибкость в управлении, однако часто страдают от недостатка геометрической точности и причинности. Наша мотивация заключается в создании метода, который бы объединил точность геометрии и высокую динамичность, обеспечивая полную управляемость и реалистичность в генерации трехмерных сцен. ## Метод Мы предлагаем LSD-3D (Large-Scale 3D Driving Scene Generation with Geometry Grounding) — метод, который комбинирует прокси-геометрию и средства оболочечной интерпретации с обученными признаками из моделей изображений. Метод работает в два этапа: в первом этапе производится генерация прокси-геометрии с помощью специальной архитектуры, которая берет в качестве входных данных карты местности и порождает трехмерные модели. Во втором этапе используется процедура score distillation, которая взята из обученных моделей изображений, чтобы уточнить детали текстуры и структуры. Ключевой особенностью метода является его гибкость: он позволяет гиперпараметрически управлять геометрией, текстурой и структурой сцены, в то же время сохраняя геометрическую точность и причинность. Это делает LSD-3D уникальным в способности генерировать реалистичные трехмерные сцены во всём различии индивидуальности и разнообразия. ## Результаты Мы проверили наш метод на различных корпусах данных, включая карты местности и данные сенсорных систем. Для оценки качества генерации проводились эксперименты, в которых сравнивались наш метод с существующими системами, ориентированными на геометрию и текстурное описание. Результаты показали, что LSD-3D превосходит другие подходы в терминах точности геометрии и качества текстурной детализации. Особенно выдаются результаты, связанные с гибкостью в управлении, что позволяет сгенерировать сцены в разнообразных условиях. Также, проведенные эксперименты показали высокую степень объектной перманентности и точность в оценке трёхмерной геометрии. ## Значимо