OpenFake: An Open Dataset and Platform Toward Large-Scale Deepfake Detection

## Контекст Современная информационная среда стала центром распространения синтетических медиа, таких как deepfakes, которые используются для фальсификации информации. Эти синтетические медиа широко используются для распространения ложных сообщений, особенно в политически сентиментальных контекстах. Несмотря на развитие технологий, существующие датасеты для обучения моделей deepfake-детекторов часто ограничены устаревшими методами генерации, невысоким реалистичности изображений и ограниченным количеством типов лиц. Это ограничивает их эффективность в обнаружении синтетических изображений. Мы проанализировали социальные сети для понимания, как deepfakes распространяются и что мотивирует их создание. Также, наши исследования показали, что современные модели генерации изображений становятся все более реалистичными, что усложняет их отличие от реальных. Эти развития подчеркивают необходимость создания полностью открытого датасета, который бы отражал современные подходы к генерации deepfake. ## Метод Для создания датасета "OpenFake" мы разработали каркас поддерживающий извлечение и создание контекстных ссылок между текстовыми описаниями и синтетическими изображениями. Мы использовали три млн реальных изображений, каждое из которых было сопровождено подробным текстовым описанием. Эти описания были использованы для генерации 963 тысяч изображений с помощью различных генеративных моделей, включая как свободно распространяемые, так и закрытые модели. Мы также использовали усовершенствованные методы анализа изображений для обеспечения высокого качества и реалистичности генерируемых изображений. Для поддержания актуальности, мы представили инновационную платформу социальных технологий, на которой участники могут подготавливать и подавать в рамках конкурса свои собственные г DEEPFAKE-изображения, чтобы повысить трудность детектирования для детекторов. ## Результаты Мы провели ряд экспериментов для оценки качества генерируемых deepfakes, сравнивая их с реальными изображениями. Наши результаты показали, что генерируемые изображения имеют высокий уровень реалистичности, что создает серьезные проблемы для людей, пытающихся отличить их от реальных. Мы также провели широкомасштабное исследование, участники которого изучали ошибки в детектировании в Deepfake-изображениях. Эти исследования показали, что даже опытные пользователи часто ошибаются при различении глубоких фальшивых изображений от реальных. Наш датасет позволил показать, что современные модели deepfake-детекторов до сих пор имеют проблемы с обнаружением высококачественных deepfakes. ## Значимость Датасет OpenFake отк