RAIDX: A Retrieval-Augmented Generation and GRPO Reinforcement Learning Framework for Explainable Deepfake Detection
2508.04524v1
cs.CV, cs.AI
2025-08-08
Авторы:
Tianxiao Li, Zhenglin Huang, Haiquan Wen, Yiwei He, Shuchang Lyu, Baoyuan Wu, Guangliang Cheng
Резюме на русском
**Резюме**
Развитие AI-систем для генерации изображений привело к появлению гиперреалистичных deepfake, создающих риски для этики и распространения ложных сведений. Традиционные методы обнаружения deepfake, в том числе специфические для лиц или общие для AI-генерируемых данных, не обеспечивают прозрачности, так как формализуют задачу как классификацию без объяснения решений. Хотя некоторые подходы на основе языковых моделей (LLM) предлагают определённый уровень explainability, они страдают от грубых анализов и требуют интенсивной аннотации данных.
В этой работе представлен RAIDX — новый фреймворк для обнаружения и объяснения deepfake, который сочетает Retrieval-Augmented Generation (RAG) и Group Relative Policy Optimization (GRPO). RAG используется для добавления внешнего знания, что повышает точность обнаружения, а GRPO позволяет самостоятельно генерировать точные текстовые объяснения и сальиент-карты, не требуя трудоемких аннотаций. Результаты экспериментов на различных датасетах показывают, что RAIDX достигает высокой точности обнаружения и обеспечивает интерпретируемые объяснения, предоставляя как текстовые описания, так и визуальные карты. Этот фреймворк является первым единым решением, которое сочетает RAG и GRPO, решая проблемы точности и прозрачности в обнаружении deepfake.
Abstract
The rapid advancement of AI-generation models has enabled the creation of
hyperrealistic imagery, posing ethical risks through widespread misinformation.
Current deepfake detection methods, categorized as face specific detectors or
general AI-generated detectors, lack transparency by framing detection as a
classification task without explaining decisions. While several LLM-based
approaches offer explainability, they suffer from coarse-grained analyses and
dependency on labor-intensive annotations. This paper introduces RAIDX
(Retrieval-Augmented Image Deepfake Detection and Explainability), a novel
deepfake detection framework integrating Retrieval-Augmented Generation (RAG)
and Group Relative Policy Optimization (GRPO) to enhance detection accuracy and
decision explainability. Specifically, RAIDX leverages RAG to incorporate
external knowledge for improved detection accuracy and employs GRPO to
autonomously generate fine-grained textual explanations and saliency maps,
eliminating the need for extensive manual annotations. Experiments on multiple
benchmarks demonstrate RAIDX's effectiveness in identifying real or fake, and
providing interpretable rationales in both textual descriptions and saliency
maps, achieving state-of-the-art detection performance while advancing
transparency in deepfake identification. RAIDX represents the first unified
framework to synergize RAG and GRPO, addressing critical gaps in accuracy and
explainability. Our code and models will be publicly available.
Ссылки и действия
Дополнительные ресурсы: