Gen-AFFECT: Generation of Avatar Fine-grained Facial Expressions with Consistent identiTy
2508.09461v1
cs.CV, cs.AI
2025-08-15
Авторы:
Hao Yu, Rupayan Mallick, Margrit Betke, Sarah Adel Bargal
Резюме на русском
#### Контекст
В последние годы 2D-аватары стали важной частью цифрового окружения, используясь в играх, виртуальном общении, образовании и создании контента. Однако существующие подходы часто сталкиваются с проблемами, такими как недостаточная ядрость выражений лица и нехватка постоянства личности при переключении между выражениями. Эти ограничения приводят к менее естественному взаимодействию и снижению качества пользовательского опыта. Работа предлагает решение для этих проблем, сосредоточившись на создании аватаров, которые были бы как выразительными, так и последовательными в их личности.
#### Метод
FRAMEWORK GEN-AFFECT (Generation of Avatar Fine-grained Facial Expressions with Consistent Identity) использует диффузионную модель, кондиционированную на идентификационную и выразительную структуру. Для достижения точности выражений и сохранения идентичности, авторы вводят мультимодальную структуру, позволяющую эффективно обрабатывать и сочетать информацию из разных источников. Для поддержания консистентности личности во время генерации, алгоритм применяет каскадное внимание, чтобы обеспечить точное взаимодействие между выражениями. Это позволяет GEN-AFFECT генерировать выразительные аватары, которые сохраняют консистентность с личностью в сетке генерируемых выражений.
#### Результаты
В экспериментах GEN-AFFECT показал превосходную точность в генерации выражений и сохранение идентичности по сравнению с состоянием технологии. Использовались различные данные для обучения и тестирования, включая выразительные лица с разными характеристиками. Результаты показали, что GEN-AFFECT превосходит предыдущие методы в аккуратности выражений и постоянстве личности. Это подтверждает его эффективность в создании естественных, выразительных и последовательных аватаров.
#### Значимость
GEN-AFFECT может быть применен в различных сценариях, таких как игры, виртуальные миры, образовательные платформы и создание контента. Его основное преимущество заключается в том, что он может генерировать выразительные лица, которые постоянно сохраняют личность. Эта технология имеет потенциал для улучшения качества виртуальных взаимодействий, увеличения персонализации и добавления эмоционального компонента в цифровые персонажи. Будущие работы будут направлены на усовершенствование гибкости фреймворка и его применение в различных сегментах цифрового пространства.
#### Выводы
Работа представляет собой значительный прорыв в области генерации личных аватаров с выразительными лицами и постоянной личностью. Она доказала свою эффективность в решении проблемы недостаточной консистентности и точности выражени
Abstract
Different forms of customized 2D avatars are widely used in gaming
applications, virtual communication, education, and content creation. However,
existing approaches often fail to capture fine-grained facial expressions and
struggle to preserve identity across different expressions. We propose
GEN-AFFECT, a novel framework for personalized avatar generation that generates
expressive and identity-consistent avatars with a diverse set of facial
expressions. Our framework proposes conditioning a multimodal diffusion
transformer on an extracted identity-expression representation. This enables
identity preservation and representation of a wide range of facial expressions.
GEN-AFFECT additionally employs consistent attention at inference for
information sharing across the set of generated expressions, enabling the
generation process to maintain identity consistency over the array of generated
fine-grained expressions. GEN-AFFECT demonstrates superior performance compared
to previous state-of-the-art methods on the basis of the accuracy of the
generated expressions, the preservation of the identity and the consistency of
the target identity across an array of fine-grained facial expressions.
Ссылки и действия
Дополнительные ресурсы: