Semantic Discrepancy-aware Detector for Image Forgery Identification

## Контекст Современные технологии генерации изображений позволяют создавать реалистичные снимки, что становится вопросом для обеспечения доверия к цифровым медиа. Несанкционированное изменение изображений может привести к серьезным последствиям, включая повреждение репутации индивида или организации. Обнаружение подделок в изображениях является ключевым заданием, требующим внимательного подхода. Несмотря на прогрессы в искусственном интеллекте, существуют проблемы, связанные с несоответствием между пространствами подделок и семантических понятий, что снижает эффективность существующих моделей. Этот факт требует разработки новых подходов, способных лучше интерпретировать формальные и семантические признаки подделок в изображениях. ## Метод Мы предлагаем метод Semantic Discrepancy-aware Detector (SDD), который оперирует семантическими признаками изображений. Метод основывается на реконструкционном обучении для выравнивания пространств семантических понятий и подделок. В качестве основы используется предварительно обученная модель визионного языкового моделирования. Мы разработали модуль выбора семантических токенов, который способствует уменьшению шума семантических признаков, не относящихся ни к подделке, ни к семантическим понятиям. Далее, используя визуальную реконструкцию, мы предложили модуль обучения дискрепантности понятий, который усиливает взаимодействие между семантическими признаками и признаками подделки, используя семантические понятия в качестве руководства. Наконец, модуль улучшения низкоуровневых признаков подделки интегрирует полученные семантические различия, чтобы сократить ненужный информационный шум. ## Результаты Нами проведены эксперименты на двух стандартных датасетах для обнаружения подделок в изображениях. Обнаружено, что SDD превосходит существующие модели в точности и общей эффективности. В частности, SDD демонстрирует высокую точность в локализации формализованных признаков подделки и уменьшает шум в семантических признаках. Результаты показывают, что SDD может более точно идентифицировать различные типы подделок, включая пропорциональные и стилистические модификации. Наши результаты доступны в открытом доступе по ссылке: https://github.com/wzy1111111/SSD. ## Значимость Предложенный подход имеет широкое потенциальное применение в области безопасности цифровых медиа, включая мониторинг содержимого в социальных сетях, проверку документов и видео, а также в области сертификации цифровых медиа. SDD предоставляет значительные преимущества по сравнению с предыдущими моделями, включая улучшенную