📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Seungmi Lee, Kwan Yun, Junyong Noh
#### Контекст
В последние годы становится все более актуальным создание реалистичных 3D моделей лиц, которые могут генерироваться и контролироваться с помощью текстовых описаний. Этот подход используется в различных областях, включая анимацию, виртуальную реальность и генерирование искусственных изображений. Однако существуют значительные проблемы, связанные с надежностью генерирования, сохранением лицевых атрибутов и стилизацией. Недостаточное сохранение идентичности, изменение выражений и морфологические сдвиги в 3D моделях ограничивают применение таких технологий. Целью настоящего исследования является построение модели, которая не только стилизует 3D модели лиц, но и сохраняет ключевые лицевые особенности, такие как идентичность и выражение.
#### Метод
Предложенный подход, StyleMM, основан на текстово-движущем переводе изображений с использованием диффузионной модели. Исходными данными являются реалистичные 3D модели лиц, построенные на основе текстов, которые используются для генерирования 3D моделей с текстурами и стилями. Для поддержания лицевых атрибутов во время стилизации, вводится метод, который использует меш-деформационную сеть и генератор текстур лиц. Эти модели предварительно обучены на больших данных реальных лиц, что позволяет их быстро адаптировать к новым стилям. Для обеспечения сохранения выражений и аналитической структуры во время трансформации вводятся специальные методы разметки и алгоритмы аргументации, которые уменьшают нежелательные изменения.
#### Результаты
Эксперименты проводились на трёх наборах данных, включая реальные лица и синтетически сгенерированные изображения. Метод StyleMM был сравнен с двумя современными подходами в области стилизации 3D моделей. Результаты показали, что StyleMM превосходит конкуренты в плане разнообразия идентичности и стилизации. Также было показано, что модель может сохранять лицевые атрибуты во время стилизации и эффективно контролировать глубину стилизации. Таким образом, StyleMM показал себя как метод, сочетающий высокую стилизационную гибкость и надежность в сохранении лицевых особенностей.
#### Значимость
Предложенный подход может быть применен в различных областях, включая виртуальную реальность, игровые индустрии, анимацию и генерирование искусственных лиц. Основное преимущество StyleMM заключается в его способности сохранять лицевые атрибуты во время стилизации, что отсутствует в других подходах. Это делает технологию привлекательной для сценариев, где важно сохранение идентичности и выражений. Кроме то
Annotation:
We introduce StyleMM, a novel framework that can construct a stylized 3D
Morphable Model (3DMM) based on user-defined text descriptions specifying a
target style. Building upon a pre-trained mesh deformation network and a
texture generator for original 3DMM-based realistic human faces, our approach
fine-tunes these models using stylized facial images generated via text-guided
image-to-image (i2i) translation with a diffusion model, which serve as
stylization targets for the rendered mesh. To pre...