A Controllable 3D Deepfake Generation Framework with Gaussian Splatting
2509.11624v1
cs.CV, cs.LG
2025-09-17
Авторы:
Wending Liu, Siyun Liang, Huy H. Nguyen, Isao Echizen
Резюме на русском
## Контекст
Проблема глубокого подделывания лиц (deepfake) в 3D-сценах остается относительно неизученной, несмотря на распространенность 2D-техник. Основные проблемы включают геометрические непоследовательности, ограниченную общеприменимость к новым видам и недостаток управляемости. Эти недостатки становятся заметными при работе с мультиплексом новых видов, выразительной контролируемостью и сохранением реализму. Недавние развития технологии 3D Gaussian Splatting предлагают новый подход к решению этих проблем, объединяя технологии 3D-моделирования и синтеза deepfake. Наша мотивация заключается в создании контролируемой 3D-системы deepfake, которая обеспечивает реалистичную идентификацию, выразительную контролируемость и согласованность многоплоскостного просмотра.
## Метод
Мы предлагаем исследовательский подход, основанный на 3D Gaussian Splatting, для решения проблем глубокого поддела лиц в 3D-сценах. Метод состоит из нескольких ключевых модулей:
1. **Параметрическая модель головы**, которая обеспечивает точное управление выражениями и позы.
2. **Динамические Gaussians**, которые позволяют контролировать многовидный просмотр и сохранять консистентность.
3. **Модуль ремонта**, который улучшает визуальную консистентность при выразительных и экстремальных позах.
4. **Оптимизация 2D-гидов**, чтобы повысить качество рендеринга в 2D-проекциях.
5. **Модуль предварительного обучения**, который помогает настраивать глубокую нейронную сеть для лучшего распознавания.
Метод использует комбинацию 3D-моделирования и 2D-оптимизации для обеспечения реализма, выразительной контролируемости и многоплоскостного рендеринга в 3D-сценах.
## Результаты
Мы проводим эксперименты на двух наборах данных: NeRSemble и дополнительных видео-оценках. Наши результаты показывают, что наш подход сравнимо эффективен по идентификации и позной консистентности с лучшими 2D-методами. Однако он превосходит их в многоплоскостном рендеринге и сохранении 3D-консистентности. Мы также проводим сравнение с текущими 3D-методами, демонстрируя значительные улучшения в рендеринге, выразительности и задний фон. Эти результаты подтверждают эффективность нашего подхода в создании реалистичных, многовидных и контролируемых deepfake в 3D-сценах.
## Значимость
Наш подход открывает новые возможности для сценарного, контролируемого и иммерсивного визуального подделывания в 3D-сценах. Он может использоваться в различных областях, включая VR/AR, игры, анимацию и 3D-контент, где требуется высокий уровень реализма и контроля
Abstract
We propose a novel 3D deepfake generation framework based on 3D Gaussian
Splatting that enables realistic, identity-preserving face swapping and
reenactment in a fully controllable 3D space. Compared to conventional 2D
deepfake approaches that suffer from geometric inconsistencies and limited
generalization to novel view, our method combines a parametric head model with
dynamic Gaussian representations to support multi-view consistent rendering,
precise expression control, and seamless background integration. To address
editing challenges in point-based representations, we explicitly separate the
head and background Gaussians and use pre-trained 2D guidance to optimize the
facial region across views. We further introduce a repair module to enhance
visual consistency under extreme poses and expressions. Experiments on
NeRSemble and additional evaluation videos demonstrate that our method achieves
comparable performance to state-of-the-art 2D approaches in identity
preservation, as well as pose and expression consistency, while significantly
outperforming them in multi-view rendering quality and 3D consistency. Our
approach bridges the gap between 3D modeling and deepfake synthesis, enabling
new directions for scene-aware, controllable, and immersive visual forgeries,
revealing the threat that emerging 3D Gaussian Splatting technique could be
used for manipulation attacks.
Ссылки и действия
Дополнительные ресурсы: