AI Propaganda factories with language models
2508.20186v1
cs.CR, cs.AI, cs.CY
2025-08-30
Авторы:
Lukasz Olejnik
Резюме на русском
## Контекст
Современные технологии искусственного интеллекта (ИИ) способны выполнять сложные задачи, включая генерирование текста и анализ данных. Это открыло новые возможности для использования ИИ в политических кампаниях и влиятельных операциях. Одной из особенностей этой области является использование "персонажей", которые представляют собой характерные личности или стили высказывания, чтобы сделать сообщения более эффективными и привлекательными. Однако это также порождает новые проблемы, такие как усиление цензуры, подрыв доверия к информации и создание новых возможностей для манипуляции общественным мнением.
Например, в 2016 году во время выборов в США, российские государственные структуры, такие как Интерфейс, использовали социальные сети для распространения масштабных мифов и подрывных сообщений. В 2022 году в Украине была зарегистрирована аналогичная активность, но с использованием ИИ для развертывания целенаправленных воздействий. Эти примеры показывают, что ИИ может быть использован как средство для усиления влияния, но также и для тонкой манипуляции общественным мнением.
## Метод
В центре данного исследования лежит использование малых языковых моделей, которые основываются на глубоких нейронных сетях. Эти модели разработаны таким образом, чтобы производить соответствующий личности текст, демонстрируя как конкретные особенности характера, так и стиль разговора. Для эффективной оценки результатов использовались автоматические методы, которые не требуют человеческого вмешательства.
Архитектура использовалась специализированная архитектура, адаптированная для работы с текстовыми данными. Методы включают подготовку данных, машинное обучение и оценку результатов. Использование данных осуществлялось с помощью выборки с открытого доступа, предназначенных для изучения влиятельных операций. Это позволило выполнить эксперименты с разными сценариями и персонажами, чтобы изучить преимущества и ограничения технологий.
## Результаты
Исследование проводилось с использованием двух основных направлений. В первом случае была изучена влиятельная мощь "персонажей", которые использовались для распространения мгновенных сообщений. Эксперименты показали, что создание более живых и целенаправленных персонажей повышает эффективность воздействия. Второй направлен показал, что когда персонажы подвергаются напряжению в виде критики или сопротивления, они начинают демонстрировать более уверенную позицию и усиление идеологической адгезии.
Общие результаты
Abstract
AI-powered influence operations can now be executed end-to-end on commodity
hardware. We show that small language models produce coherent, persona-driven
political messaging and can be evaluated automatically without human raters.
Two behavioural findings emerge. First, persona-over-model: persona design
explains behaviour more than model identity. Second, engagement as a stressor:
when replies must counter-arguments, ideological adherence strengthens and the
prevalence of extreme content increases. We demonstrate that fully automated
influence-content production is within reach of both large and small actors.
Consequently, defence should shift from restricting model access towards
conversation-centric detection and disruption of campaigns and coordination
infrastructure. Paradoxically, the very consistency that enables these
operations also provides a detection signature.
Ссылки и действия
Дополнительные ресурсы: