AEGIS: Authenticity Evaluation Benchmark for AI-Generated Video Sequences

## Контекст Современные достижения в области искусственного интеллекта привели к созданию высокореалистичных синтетических видео, которые могут нарушать цифровую интегритет и доверие к информационным источникам. Отсутствие эффективных методов оценки целостности и аутентичности таких видео становится критическим проблемом. Большинство существующих бенчмарков для оценки аутентичности видео не подходят для современных визуально-языковых моделей, так как отсутствует достаточно высокий уровень реализма, масштаб и сложность. Для решения этой проблемы мы предлагаем AEGIS – новую большую коллекцию для оценки целостности видео, созданную специально для эффективного тестирования современных моделей. ## Метод AEGIS состоит из более чем 10 000 видео, созданных различными современными моделями генерации, такими как Stable Video Diffusion, CogVideoX-5B, KLing и Sora. Эти модели отличаются тем, что они используют разные архитектуры и исходные данные. Бенчмарк включает проверенные реальные видео и синтетические, которые были специально подготовлены для комплексной оценки. Дополнительно, мы предоставили подробные мультимодальные аннотации, такие как Semantic-Authenticity Descriptions, Motion Features и Low-level Visual Features, что позволяет углубиться в анализ технических характеристик видео. ## Результаты Мы проводили эксперименты с использованием визуально-языковых моделей, таких как CLIP и BLIP. Эксперименты показали, что существующие модели сталкиваются с трудностями при оценке самых сложных видео с большим числом семантических особенностей. В частности, новые синтетические видео, включенные в AEGIS, демонстрируют возможности современных моделей синтеза видео, что подтверждает необходимость развития более надежных методов. ## Значимость AEGIS может использоваться во многих областях, таких как мониторинг массовых синтезированных контентов, идентификация фальшивых видео, а также для проведения исследований в области аутентичности видео. Наш бенчмарк предоставляет новые возможности для развития методов и алгоритмов, способных эффективно противостоять новым тенденциям в добавлении фальшивости в видео. В дополнение, мы раскрываем новые вызовы и потенциальные направления для развития моделей, которые должны быть более общеуниверсальными и устойчивыми к различным типам подделки. ## Выводы AEGIS закладывает основу для развития новых методов оценки видеоаутентичности, которые могут стать базой для развития технологий, направленных на защиту от синтетических подделок. Наш бенчмарк является важной инновацией в области обеспечения цифровой безопасности и