AI Propaganda factories with language models

2508.20186v1 cs.CR, cs.AI, cs.CY 2025-08-30
Авторы:

Lukasz Olejnik

Резюме на русском

## Контекст Современные технологии искусственного интеллекта (ИИ) способны выполнять сложные задачи, включая генерирование текста и анализ данных. Это открыло новые возможности для использования ИИ в политических кампаниях и влиятельных операциях. Одной из особенностей этой области является использование "персонажей", которые представляют собой характерные личности или стили высказывания, чтобы сделать сообщения более эффективными и привлекательными. Однако это также порождает новые проблемы, такие как усиление цензуры, подрыв доверия к информации и создание новых возможностей для манипуляции общественным мнением. Например, в 2016 году во время выборов в США, российские государственные структуры, такие как Интерфейс, использовали социальные сети для распространения масштабных мифов и подрывных сообщений. В 2022 году в Украине была зарегистрирована аналогичная активность, но с использованием ИИ для развертывания целенаправленных воздействий. Эти примеры показывают, что ИИ может быть использован как средство для усиления влияния, но также и для тонкой манипуляции общественным мнением. ## Метод В центре данного исследования лежит использование малых языковых моделей, которые основываются на глубоких нейронных сетях. Эти модели разработаны таким образом, чтобы производить соответствующий личности текст, демонстрируя как конкретные особенности характера, так и стиль разговора. Для эффективной оценки результатов использовались автоматические методы, которые не требуют человеческого вмешательства. Архитектура использовалась специализированная архитектура, адаптированная для работы с текстовыми данными. Методы включают подготовку данных, машинное обучение и оценку результатов. Использование данных осуществлялось с помощью выборки с открытого доступа, предназначенных для изучения влиятельных операций. Это позволило выполнить эксперименты с разными сценариями и персонажами, чтобы изучить преимущества и ограничения технологий. ## Результаты Исследование проводилось с использованием двух основных направлений. В первом случае была изучена влиятельная мощь "персонажей", которые использовались для распространения мгновенных сообщений. Эксперименты показали, что создание более живых и целенаправленных персонажей повышает эффективность воздействия. Второй направлен показал, что когда персонажы подвергаются напряжению в виде критики или сопротивления, они начинают демонстрировать более уверенную позицию и усиление идеологической адгезии. Общие результаты

Abstract

AI-powered influence operations can now be executed end-to-end on commodity hardware. We show that small language models produce coherent, persona-driven political messaging and can be evaluated automatically without human raters. Two behavioural findings emerge. First, persona-over-model: persona design explains behaviour more than model identity. Second, engagement as a stressor: when replies must counter-arguments, ideological adherence strengthens and the prevalence of extreme content increases. We demonstrate that fully automated influence-content production is within reach of both large and small actors. Consequently, defence should shift from restricting model access towards conversation-centric detection and disruption of campaigns and coordination infrastructure. Paradoxically, the very consistency that enables these operations also provides a detection signature.

Ссылки и действия