Is It Certainly a Deepfake? Reliability Analysis in Detection & Generation Ecosystem
2509.17550v1
cs.AI, cs.CV, cs.LG
2025-09-24
Авторы:
Neslihan Kose, Anthony Rhodes, Umur Aybars Ciftci, Ilke Demir
Резюме на русском
## Контекст
Глубокие подделки (deepfakes) — это синтезированные медиа-контент, создаваемый с помощью развитых генерирующих моделей. Они могут использоваться для подделки лиц, голосов или действий, что приводит к ухудшению доверия в онлайн-содержимое. Deepfake-детекторы были предложены для борьбы с этим явлением. Однако некоторые детекторы могут неправильно классифицировать поддельные материалы как реальные или наоборот, что делает их недостоверными. Это влечет за собой проблемы в понимании источника синтезированного медиа-контента. В настоящей работе предлагается новая методология для оценки неопределенности в системах deepfake-детекторов и их потенциальном применении для определения источника синтезированных материалов.
## Метод
Для изучения неопределенности в системах deepfake-детекторов и генерирующих моделей использовалась современная архитектура сетей бейзеновских нейронных сетей (Bayesian Neural Networks). Для оценки неопределенности в моделях рассматривались две части: **алетрическая неопределенность** (связанная с разнообразием данных) и **эпистемическая неопределенность** (связанная с недостатком знаний в модели). Для моделирования этих неопределенностей использовался метод Monte Carlo Dropout, который позволяет получить распределение весов и предсказаний, а не однозначные оценки. Методы экспериментов включали традиционную классификацию (реальные vs поддельные материалы), многоклассовую классификацию (источник генерирующей модели), а также анализ уверенности в пикселях и регионах. Эти методы были применены к двум разным наборам данных с девятью разными генерирующими моделями.
## Результаты
На основе проведенных экспериментов было получено несколько выводов. Во-первых, полученные уверенности от разных моделей варьировались в зависимости от того, какая генерирующая модель была использована для создания материала. В-вторых, некоторые модели проявляли высокую уверенность в классификации, которая оказалась не верна. Например, на одном наборе данных одна модель детектора выдавала сильно неверные предсказания, в то время как другая модель детектора показывала более точные результаты. Это отражалось в различных метриках неопределенности. Кроме того, анализ уверенности на уровне пикселей показал, что некоторые генерирующие модели оставляют очевидные "артефакты", которые могут быть использованы для определения источника. Также были проведены абляционные исследования, показавшие, что некоторые элементы моделей играют ключевую роль в точности классификации.
## Значимость
Результаты этого исследования имеют большое з
Abstract
As generative models are advancing in quality and quantity for creating
synthetic content, deepfakes begin to cause online mistrust. Deepfake detectors
are proposed to counter this effect, however, misuse of detectors claiming fake
content as real or vice versa further fuels this misinformation problem. We
present the first comprehensive uncertainty analysis of deepfake detectors,
systematically investigating how generative artifacts influence prediction
confidence. As reflected in detectors' responses, deepfake generators also
contribute to this uncertainty as their generative residues vary, so we cross
the uncertainty analysis of deepfake detectors and generators. Based on our
observations, the uncertainty manifold holds enough consistent information to
leverage uncertainty for deepfake source detection. Our approach leverages
Bayesian Neural Networks and Monte Carlo dropout to quantify both aleatoric and
epistemic uncertainties across diverse detector architectures. We evaluate
uncertainty on two datasets with nine generators, with four blind and two
biological detectors, compare different uncertainty methods, explore region-
and pixel-based uncertainty, and conduct ablation studies. We conduct and
analyze binary real/fake, multi-class real/fake, source detection, and
leave-one-out experiments between the generator/detector combinations to share
their generalization capability, model calibration, uncertainty, and robustness
against adversarial attacks. We further introduce uncertainty maps that
localize prediction confidence at the pixel level, revealing distinct patterns
correlated with generator-specific artifacts. Our analysis provides critical
insights for deploying reliable deepfake detection systems and establishes
uncertainty quantification as a fundamental requirement for trustworthy
synthetic media detection.
Ссылки и действия
Дополнительные ресурсы: