#### Контекст Одной из наиболее вызовом в области компьютерного зрения является реализация точного и естественного манипулирования простыми стилями в изображениях. Этот вопрос приобретает усиленную значимость в контексте прикладных задач, таких как оптимизация процессов визуализации в сфере ритейла. Особенно актуальным становится создание универсальных методов для мелких изменений в стиле, например, в текстиле или эмалировке. Несмотря на то, что существуют методы, такие как diffusion models, они имеют ограничения в точности и гибкости при работе с конкретными функциями стиля. Мы предлагаем рассмотреть эту проблему с использованием современных подходов, ориентированных на контрастное обучение и модуляцию LoRA. #### Метод Мы предлагаем усовершенствованный подход к решению задачи мелкой настройки стиля, основанный на контрастном обучении и модификации LoRA. Наше решение включает два этапа модификации: в первом этапе мы разделяем стиль и содержимое с помощью декоупленных представлений предобученных моделей распространения, а во втором этапе применяется самостоятельное расщепление по знаниям. Для этого мы используем архитектуру, основанную на подходе аналогии с изображениями, которая позволяет эффективно выделять и изменять мелкие финерградентные функции стиля. Наш подход также включает в себя инференс-пайплайн, который может принимать как изображения, так и текстовые запросы, чтобы обеспечить более широкую функциональность. #### Результаты Мы проводили эксперименты на нашей собственной коллекции данных, сравнивая нашу модель с другими подходами, такими как diffusion-based и традиционные методы стиля. Наши результаты показывают, что наш подход превосходит существующие решения по точности и возможности применения к различным видам стиля. Мы также проверили нашу модель на других задачах, включая художественный стиль передачи, цветаж и трансформации внешности, получив признаки хорошей общей гибкости и точности. #### Значимость Предлагаемый метод может быть использован в различных промышленных приложениях, таких как тонкая настройка стиля в ритейле, создание текстиля и тканей, а также визуализация продуктов в предпо- продажных процессах. Важное преимущество нашего метода заключается в своей способности декоуплировать четко стиль и содержимое, что обеспечивает более точный и гибкий контроль над процессом манипулирования. Это, в свою очередь, может ускорить процессы разработки и улучшить качество результатов в прикладных задачах. #### Выводы Мы предлагаем новую модель, которая улучшает методы мелкой настройки стиля с помощью контрастного обучения и модификации LoRA. На

## Контекст Основной мотивацией для развития методов сценарного разбора в динамических сценах является необходимость создания гибких и высококачественных моделей для анализа и редактирования сложных сцен, вовлеченных в автономное вождение или творческое редактирование. Несмотря на успех некоторых подходов, таких как нейроатласы, которые представляют сцены в виде двух деформируемых слоев (фоновый и передний), эти модели становятся неэффективными при поперекложении и взаимодействии объектов. Альтернативные подходы, основанные на графах сцены, позволяют создавать 3D-спектр предметов с использованием масок и боксингов, но выделение и редактирование этих моделей остается трудоемким и неоднозначным. Мы предлагаем метод Neural Atlas Graphs (NAGs), который объединяет преимущества нейроатласов и графов сцены, обеспечивая высокую точность, редактируемость и эффективность в обработке и редактировании динамических сцен. ## Метод Наша архитектура NAGs основана на нейроатласах, которые представляют каждый граф-узел как представление видящегося слоя в 2D. Каждый узел может находиться в произвольной позиции и выглядеть в зависимости от угла взгляда, что позволяет гибко организовывать трехмерные связи. Мы реализуем это с использованием методики обучения с подкреплением, чтобы обеспечить надёжный поиск и привязку объектов в сцене. Наша модель обладает высокой точностью в разборе сцен, что даёт возможность визуального редактирования в высоком разрешении, включая изменение фонов, позиций и визуальной аппаратуры. Мы также используем внешние проверки качества работы на данных свободного вождения и видео-анализа, чтобы продемонстрировать эффективность NAGs. ## Результаты Мы проверяли NAGs на двух различных датасетах: Waymo Open Dataset для автономных сцен и DAVIS для более общих видео-сцен. На Waymo, наш метод показал значительный прогресс по сравнению с предыдущими подходами, демонстрируя повышение PSNR на 5 дБ. На DAVIS, мы получили результаты, превосходящие современные методы маттинга и видео-редактирования, с увеличением PSNR на 7 дБ. Наши эксперименты показывают, что NAGs эффективно работают в широком диапазоне сцен, включая сложные динамические сцены с множеством объектов и взаимодействий. ## Значимость Наши результаты открывают путь для широких применений, включая автономное вождение, редактирование видео и виртуальную реальность. Мы показали, что NAGs обеспечивают высокое качество редактирования в 3D-мерности с высоким разрешением, что делает их привлекательными для приложений, требующих интерактивно

## Контекст Область исследования, связанная с генерацией экспрессивных моделей 3D-фасок, играет ключевую роль в создании жизнеобразных интерактивных систем. Несмотря на развитие технологий, существуют серьезные проблемы, связанные с отсутствием высококачественных данных, что затрудняет создание достоверных моделей. Также отсутствуют методы, учитывающие не только голос, но и динамику головы и взгляда, что ограничивает способность генерировать синхронные и стилизованные модели голоса, головного движения и взгляда. Эти проблемы мотивируют разработку более детализированных и специализированных подходов, чтобы повысить реалистичность и эффективность анимации. ## Метод Метод StyGazeTalk предлагает инновационное решение для аудио-драйвенной генерации головных и взглядных динамик. Он основывается на использовании глубоких нейросетевых архитектур, включая модели LSTM с многоуровневой структурой. В этом подходе используется стилизационный энкодер, который позволяет генерировать различные модели движения, соответствующие специфике речи и стиля. Данные для обучения получены с помощью специального мультимодального набора данных, включающего глазную трассировку, звуковые сигналы, данные позы головы и 3D-модели лица. Этот подход позволяет создавать синхронные и стилизованные модели, которые могут учитывать специфику говорящего и стиля анимации. ## Результаты На основе созданного набора данных проводились эксперименты, которые позволили проверить эффективность метода StyGazeTalk. Использовалась метрика, оценивающая реализм и стилизованность полученных моделей. Результаты показали, что StyGazeTalk значительно превосходит существующие методы в синхронизации голоса, головных движений и взгляда. Это связано с возможностью генерировать живые модели, которые соответствуют специфике речи и стиля, что демонстрирует преимущества этого подхода в создании мотивированных и экспрессивных анимаций. ## Значимость Результаты StyGazeTalk могут быть применены в различных технологических областях, включая VR/AR, добавление эмоционального контента в игры и видеоконтент. Этот подход отличается своей способностью генерировать живые и стилизованные модели, что повышает качество интерактивных систем. Кроме того, высококачественный набор данных, представленный в этой работе, может стать ресурсом для дальнейших исследований в области анимации лица и голоса. ## Выводы Эксперименты подтвердили эффективность StyGazeTalk в генерации реалистичных и стилизованных моделей головного движения и взгляда. Данный подход является значительным шаго

## Контекст **Unsigned Distance Fields (UDFs)** являются важной неявной репрезентацией открытых поверхностей в трехмерном пространстве. Они позволяют определять расстояния до поверхности в каждой точке трехмерного объема. Несмотря на свою полезность, UDFs в трехмерных объемах трудно преобразовать в явные меш-сетки. Эта проблема становится особенно актуальной при высоких разрешениях, где нейронные UDFs генерируют более шумные и неточные результаты, что осложняет локализацию мелких деталей. Традиционные методы оперируют в рамках отдельных вокселей, не учитывая полученные результаты в соседних вокселях. Это приводит к потере самих поверхностей и развитию дыр в меше. Наша мотивация состоит в том, чтобы исправить эти недостатки, оптимизировав подход к триангуляции UDFs и улучшив качество выходной сетки. ## Метод Мы предлагаем **итеративную нейронную сеть**, которая решает проблему триангуляции UDFs в трехмерных объемах. Наш подход заключается в нескольких итерациях, в ходе которых каждый воксель просматривается в контексте соседних вокселей. Внутри каждого вокселя используется нейронная сеть, которая использует информацию о ранее выдвинутых поверхностях и расстояниях, чтобы улучшить точность расположения новых точек. Метод включает в себя специальную архитектуру, которая позволяет нейронной сети запоминать и передавать информацию между вокселями, оптимизируя локальные и глобальные детали поверхности. Ключевым отличием нашего подхода является интеграция новых данных в каждой итерации, что позволяет улучшить качество выходной сетки и устранить неточности, особенно в сложных трехмерных объемах. ## Результаты Мы провели эксперименты с разными 3D-моделями, включая объекты с невырожденными и сложными геометрическими формами. Наши результаты показывают, что итеративный подход дает более точные и полные меши в сравнении с традиционными методами. Мы сравнили наш подход с текущими лидерами в области триангуляции UDFs и получили значительные улучшения в качестве поверхности, особенно при высоких разрешениях. Наши результаты показали, что итеративная сеть удалось устранить дыры и пропуски в меше, а также улучшить результат в сложных регионах, где шум в UDF может стать проблемой. ## Значимость Наш метод имеет широкое применение в построении явных сетей для сложных 3D-моделей. Он может быть использован в различных областях, таких как разработка графики, виртуальная реальность, а также в научных исследованиях в области компьютерного зрения. Одним из основных преимуществ является его устойчивость к шумам и хру

#### Контекст 3D Gaussian Splatting (3DGS) является перспективной технологией для реализации реалистичного визуального моделирования в реальном времени. Она используется для построения высококачественных сцен из небольших наборов наблюдений, что делает её привлекательной для приложений в области виртуальной и расширенной реальности. Однако в случаях с разреженными наборами наблюдений 3DGS сталкивается с рядом проблем, таких как появление floaters (незаконченных, дрейфующих объектов), неточности геометрии и переобучение. Эти эффекты происходят из-за неуправляемого роста модели, когда новые гауссовые примитивы добавляются без детального контроля. Это приводит к несоответствию между геометрией и образами, а также к повреждению точности и качества результатов. #### Метод AD-GS (Alternating Densification for Sparse-Input 3D Gaussian Splatting) предлагает новую архитектуру, которая решает эти проблемы с помощью метода альтернативного гауссового уплотнения. Он состоит из двух фаз: высокого и низкого уплотнения. В первой фазе модель добавляет новые гауссовые примитивы в сцену, чтобы увеличить толщину и повысить чувствительность к тонкостям сцены. Во второй фазе происходит оптимизация и удаление ненужных гауссовых примитивов, основываясь на фотометрических потерях, за счёт чего сохраняется точность и регулярность сцены. Этот подход позволяет модели достичь баланса между добавлением новых данных и уменьшением зазоров в представлении. #### Результаты Для оценки эффективности AD-GS проводились ряд экспериментов на нескольких вызовительных датасетах. Результаты показали, что AD-GS значительно превосходит существующие методы в сфере 3DGS по метрикам качества изображений и точности геометрии. Он показал лучшую способность устранить floaters и повысить консистентность между разными видами. Эти показатели достигнуты благодаря управляемому уплотнению и структуре, которая позволяет модели более точно адаптироваться к сложным сценам с разреженными наблюдениями. #### Значимость AD-GS имеет широкое применение в области моделирования 3D-сцен, виртуальной реальности и виртуальных интерфейсов. Он предлагает значительные преимущества, в том числе улучшенное качество моделей, меньшее количество ошибок, высокая скорость и эффективность. Важной мотивацией для дальнейших исследований является дальнейшее улучшение алгоритма, чтобы сделать его ещё более точным и универсальным для различных задач визуализации и синтеза виртуальных сцен. #### Выводы AD-GS достигает существенных улучшений в реализации 3DGS в условиях разреженных сцен. Этот подход показал возможность устрани

## Контекст Синтезированная щитовая система сиона (SAS) широко используется в области судовых и подводных изысканий для выявления и разрешения подводных объектов. Однако существующие алгоритмы по трёхмерной реконструкции в SAS сталкиваются с ограничениями в моделировании локальной дирекции отражения акустических звуковых волн от объектов. Эти трудности могут привести к неточности и снижению качества реконструкции. Одна из основных причин такого недостатка заключается в том, что ранние способы реконструкции использовали либо временно-доменные методы, либо геометрические модели, которые не учитывали дирекцию отражения. Нейронные сети, применяемые в этой области, также сталкиваются с проблемами, такими как переобучение и невозможность обработки сложных дирекционных скачков. Мотивация заключается в создании модели, которая бы моделировала дирекцию отражения более точно, улучшала качество трёхмерной реконструкции и обеспечивала более эффективную обработку данных. ## Метод Мы предлагаем **SH-SAS**, модель, которая представляет характеристики дирекционного отражения с помощью сферических гармоник (SH). Модель использует подход к неявному представлению данных, в котором каждая точка в пространстве представлена несколькими гармоническими компонентами. Мы используем хеш-кодирование многорезольвенчного типа для построения эффективной репрезентации входных данных. Это позволяет сократить количество параметров, необходимых для моделирования сложных дирекционных отражений. Модель обучается на 1D сигналах времени полета, чтобы избежать необходимости использовать более сложные супервайз-методы, такие как бимбимпинг. В ходе обучения, модель строит трёхмерную модель с помощью SH-компонент, которые могут нормально представлять дирекцию отражения. Мы также используем несколько уровней резолюции для улучшения точности и эффективности модели. ## Результаты Мы провели эксперименты сравнения существующих методов с нашей моделью на синтетических данных, а также на реальных данных, как в воздухе, так и в воде. Наши результаты показывают, что **SH-SAS** превосходит предыдущие методы по метрикам качества реконструкции и геометрическим показателям. Мы также проводили анализ того, как модель справляется с различными объёмами данных, и продемонстрировали, что она показывает значительные улучшения при обработке сложных датасетов. Кроме того, мы провели эксперименты с тем, как модель отвечает на различные уровни детализации в шаровых гармониках и показали, что она эффективно моделирует объёмные структуры с точностью. ## Значимость **SH-SAS** имеет значительно

## Контекст В современной графике и визуализации требуется постоянно создавать и реконструировать материалы для моделирования видимости объектов. Однако эти задачи требуют больших инвестиций во время и знаний от художников. Недавние методы, основанные на визуальных фондаментальных моделях, способны синтезировать материалы с помощью ввода пользователя, но часто имеют ограничения в качестве, гибкости и контроле над процессом. Многие подходы затрудняют целевую гибкость в определении характеристик материала. ## Метод Мы предлагаем **Chord**, новый двухэтапный подход, который включает стадию генерации и стадию оценки. В первой стадии используется оптимизированная модель диффузии для генерации размытого, изменяемого по размеру текстуры, соответствующего пользовательским требованиям. Во второй стадии мы предлагаем **Chain of Rendering Decomposition (Chord)**, схему декомпозиции, которая разделяет генерируемый материал на несколько отдельных каналов (SVBRDF) с помощью изображений-конвертеров. Эта схема применяет последовательное сглаживание и предсказание каждого канала, используя результаты предыдущих шагов как входные данные для одного шага. Наш подход демонстрирует гибкость, высокое качество и эффективность. ## Результаты Мы проводили эксперименты с различными данными, включая генерируемые текстуры и реальные фотографии, для оценки качества. Наши результаты показали, что **Chord** превосходит существующие методы в качестве синтеза и оценки материала, обеспечивая более точные и реалистичные результаты. Мы также проверили наш подход на многих приложениях, включая обучение текстур, редактирование материала и текст-в-материал. ## Значимость Наш подход может применяться в различных индустриях, включая визуальные эффекты, игровое производство и виртуальную реальность. **Chord** обеспечивает гибкость в определении материалов, высокое качество и эффективность. Мы видим перспективы в применении нашего подхода для повышения производительности в графической моделировании и глубокого воздействия на сферы, требующие быстрого и точного моделирования материалов. ## Выводы Мы представляем **Chord**, новый двухэтапный подход для генерации и оценки текстур материалов. Наш подход доказал свою эффективность в синтезе и оценке материалов, предлагая новый способ решения этой проблемы. Мы планируем дальнейшие исследования, чтобы улучшить гибкость и точность нашей модели, а также расширить ее применение в различных областях.

## Контекст ### Область исследования Измерение качества изображений, производимых электронными дисплеями, является ключевым аспектом оценки как традиционных, так и вычислительных дисплеев. Несмотря на развитие технологий, существующие методы измерения дисплеев, основанные на ограниченной радиометрической выборке и подгонке модели, неэффективны для выявления сложных пиксельных или высокочастотных артефактов. Эти артефакты характеризуются высокой частотой и локальным характером, что делает их незаметными для стандартных подходов. ### Мотивация Требуется система, которая могла бы точно измерять не только среднюю качественную картину, но и локальные артефакты. Это позволило бы оценивать не только цвет, яркость и контраст, но и локальное визуальное воздействие. Кроме того, любой измерительный процесс должен учитывать ограничения человеческого зрения, ибо не все артефакты видны или важны для пользователя. ## Метод ### Описание методологии Мы предлагаем CameraVDP, комбинацию камеры-ориентированной реконструкционной цепочки и системы оценки визуальных различий (Visual Difference Predictor, VDP). Реконструкционная часть включает в себя: - **HDR изображения стаккинга** для повышения точности; - **MTF инверсии** для коррекции разрешения; - **в ignetting correction** для удаления поглощения цвета на краях; - **геометрическое undistortion** для выравнивания дисторсий; - **homography transformation** для коррекции преобразований пространства; - **цветовая коррекция** для точного воспроизведения цветов. VDP основывается на модели человеческого зрения, определяя видимость различных стимулов в зависимости от условий просмотра. ### Техническая архитектура CameraVDP является системой уровня лаборатории, которая может использоваться как для измерения дисплеев, так и для симуляции различных визуальных условий. Она включает в себя несколько модулей, из которых каждый имеет свою специфическую цель в процессе измерения и оценки качества. ## Результаты ### Описание экспериментов Мы проводили три основных эксперимента: 1. **Детекция дефектных пикселей** – проверка точности воспроизведения пикселей на разных дисплеях. 2. **Оценка цветных фигур** – измерение видимости цветных искажений, которые могут возникнуть в результате ошибок проекции или разности цветовой характеристики. 3. **Обнаружение неоднородностей дисплея** – проверка равномерности яркости и цвета по всей площади дисплея. ### Используемые данные Для экспериментов были использованы как стандартные изображения, так и специально сгенерированные симуляции артефактов. Изображения были с

#### Контекст Область исследования посвящена моделированию высокочастотных распределений отраженного света, особенно для поверхностей с глянцевыми материалами. Этот аспект рендеринга является ключевым для достижения реалистичности в визуализации. Существующие методы, в основе которых лежит позиционное кодирование, сталкиваются с трудностями при моделировании сильно видозависимых распределений света, которые сосредоточены в узком луче. Эти ограничения влекут за собой недостаточную точность и высокую вычислительную сложность при обработке глянцевых поверхностей. Из этого вытекает потребность в разработке метода, который бы улучшил моделирование таких распределений, сохранив высокую эффективность и качество. #### Метод Мы предлагаем **Neural Cone Radiosity**, метод, основанный на технике радиосити, но использующий новую технику кодирования — reflectance-aware ray cone encoding. Эта техника заключается в использовании предварительно фильтрованного хеш-грида, что позволяет эффективно аппроксимировать глянцевые BSDF-лучи. Агрегация в пространстве сохраняет видозависимые характеристики отражения, что делает модель более точной для глянцевых поверхностей. Мы также используем нейросетевую архитектуру, которая объединяет эффективность и точность, чтобы обеспечить качественные результаты в реальном времени. #### Результаты Мы проводили обширные эксперименты с разными уровнями глянца и различными условиями освещения. Наши результаты показали, что Neural Cone Radiosity превосходит существующие методы как по качеству моделирования, так и по вычислительной эффективности. Мы смогли достичь низкого шума и высокого реалистичности в реальном времени для поверхностей с любым уровнем глянца. Кроме того, наш метод существенно сокращает количество вычислительных операций, не теряя в качестве. #### Значимость Наш метод может применяться в игровой индустрии, визуализации архитектурных проектов и виртуальной реальности. Он обеспечивает реалистичность с минимальными затратами вычислительных ресурсов. Это делает его привлекательным для приложений, требующих высокой скорости и качества в реальном времени. Мы также открываем пути для будущих исследований в области моделирования света и рендеринга глянцевых материалов. #### Выводы Мы представили Neural Cone Radiosity, первый метод, который эффективно аппроксимирует глянцевые распределения света с помощью reflectance-aware ray cone encoding. Наши результаты показывают, что наш метод эффективен и качественен в решении проблемы рендеринга глянцевых поверхностей. Мы будем продолжать исследовать новые способы улу

## Контекст Текущий этап развития трехмерных графических приложений, таких как моделирование, редактирование и печать, требует высококачественных трехмерных моделей с разбиением на семантически значимые и структурно согласованные части. Однако существующие методы разбиения трехмерных моделей часто сталкиваются с проблемами, такими как недостаточная контролируемость, слабая семантическая семь или несогласованность структуры. Эти недостатки ограничивают модели расширения своих возможностей в прикладных отраслях, таких как интерактивное моделирование, упрощение сетки и 3D-печать. Основная мотивация заключается в создании модели, которая сочетает в себе высокую точность, контролируемость и семантическую семь для генерирования полезных для приложений 3D-моделей. ## Метод Методология X-Part основывается на создании генерируемой модели, которая использует пространственные признаки сетки трехмерной модели. Основным инструментом является бокс, представленный в виде геометрического представления, которое используется как начальный сигнал для генерирования частей. Для того, чтобы обеспечить семантическую семь и структурную согласованность, используется точечное семантическое представление входной модели. Архитектура X-Part включает несколько модулей, таких как модуль семантического декодирования, который обеспечивает точность разбиения, и модуль контроля, который позволяет готовить модель для взаимодействия с пользователем. Это позволяет генерировать 3D-модели, которые не только высокоточны в геометрии, но и подходят для применения в реальной жизни. ## Результаты В ходе экспериментов по сравнению с другими методами разбиения, X-Part показал значительное превосходство в разбиении моделей на части с высокой семантической семью и структурной согласованностью. Использовались различные типы 3D-моделей, включая полигональные и триангуляционные модели, чтобы проверить способность X-Part к обработке различных сложностей моделей. Также были проведены эксперименты на реальных данных, которые подтвердили высокую точность и возможность взаимодействия с пользователем в процессе генерирования. Эти результаты демонстрируют то, что X-Part превосходит текущие методы в создании 3D-моделей, которые могут быть использованы в производственных приложениях. ## Значимость X-Part предлагает новый подход к генерированию трехмерных моделей на уровне частей, который может быть применен в различных прикладных областях, таких как производственное моделирование, 3D-печать, а также в интерактивном моделировании 3D-объектов. Основные преимущества X-Part заключаются в высокой точности, конт