When Deepfake Detection Meets Graph Neural Network:a Unified and Lightweight Learning Framework

Модели генерирующих видео становятся все более распространенными, что создает актуальную проблему обнаружения AI-генерируемых и манипулированных видео. Традиционные методы часто не подходят для обнаружения разнообразных типов манипуляций, так как ориентируются только на частичную информацию (пространственную, временную или спектральную). Кроме того, эффективные решения требуют объемных моделей, что ограничивает их применение в реальном мире. В данной работе предлагается SSTGNN — новая легковесная архитектура Spatial-Spectral-Temporal Graph Neural Network, которая представляет видео в виде структурированных графов и обеспечивает совместное разумление пространственных несоответствий, временных артефактов и спектральных деформаций. Архитектура SSTGNN включает в себя обучаемые спектральные фильтры и моделирование временных зависимостей, что позволяет эффективно выделять тонкие следы манипуляций. Эксперименты на различных бенчмарк-датасетах показали, что SSTGNN не только превосходит состояние искуствения в области видео-обнаружения, но и демонстрирует сильную устойчивость к невиденным манипуляциям. Более того, SSTGNN является до 42.4 раз менее параметричным, чем современные модели, что делает его высоко легковесным и скалируемым для реализации в реальных условиях.