UniC-RAG: Universal Knowledge Corruption Attacks to Retrieval-Augmented Generation
2508.18652v1
cs.CR, cs.CL, I.2.7
2025-08-28
Авторы:
Runpeng Geng, Yanting Wang, Ying Chen, Jinyuan Jia
Резюме на русском
#################################
## Контекст
#################################
Retrieval-augmented generation (RAG) является одной из наиболее популярных технологий в сфере генерируемых текстов, используемых в различных областях, таких как финансы, здравоохранение и безопасность информации. Эти системы объединяют модели генерируемого текста с возможностью взаимодействия с базами знаний, чтобы обеспечивать точные и согласованные ответы. Однако существуют многочисленные исследования, подтверждающие чувствительность RAG-систем к атакам, при которых злоумышленник может инъектировать в базу знаний злонамеренные данные, чтобы принудительно изменить вывод модели. Несмотря на это, большинство исследований сосредоточены на атаках на конкретные запросы или запросы, имеющие схожие тематики или ключевые слова. Мотивацией для настоящего исследования является разработка универсального метода атак, который может применяться против широкого круга запросов с разными темами и областями применения.
#################################
## Метод
#################################
UniC-RAG (Universal Knowledge Corruption Attacks to Retrieval-Augmented Generation) представляет собой инновационный подход к атакам на базы знаний RAG-систем. Он оптимизирует количество заранее подготовленных злонамеренных текстов, чтобы они могли приводить к злонамеренным результатам в ответах модели для множества различных запросов. Чтобы увеличить эффективность атаки, мы предлагаем балансированный метод кластеризации на основе схожести, который позволяет гарантировать, что каждый класс запросов будет эффективно атакован. Эта архитектура включает в себя нейронную сеть, которая генерирует злонамеренные тексты с учетом приоритетов заданных целей (например, ориентированные на вредоносные сайты, команды или деньджинг). Разработанная методология позволяет взломщику применять одни и те же тексты для атаки на разные сценарии, что делает UniC-RAG универсальным и мощным инструментом для злоумышленников.
#################################
## Результаты
#################################
Мы оценивали UniC-RAG на множестве экспериментов с различными базами знаний и запросами. В ходе экспериментов удалось достичь более 90% успешности атак при использовании всего 100 злонамеренных текстов, чтобы атаковать более 2000 различных запросов, охватывающих различные тематики и области применения. Например, в сценарии, где злоумышленник стремился подталкивать пользователей к посещению вредоносных ресурсов, UniC-RAG смог добиться того, чтобы более 90% пользователей после получения ответа системы переходили на указанные сайты. Также были проведены тесты на других целях, таких как выполнение вредоносных команд и создание деньджинга. В сравнении с имеющимися атаками UniC-RAG показал значительно лу
Abstract
Retrieval-augmented generation (RAG) systems are widely deployed in
real-world applications in diverse domains such as finance, healthcare, and
cybersecurity. However, many studies showed that they are vulnerable to
knowledge corruption attacks, where an attacker can inject adversarial texts
into the knowledge database of a RAG system to induce the LLM to generate
attacker-desired outputs. Existing studies mainly focus on attacking specific
queries or queries with similar topics (or keywords). In this work, we propose
UniC-RAG, a universal knowledge corruption attack against RAG systems. Unlike
prior work, UniC-RAG jointly optimizes a small number of adversarial texts that
can simultaneously attack a large number of user queries with diverse topics
and domains, enabling an attacker to achieve various malicious objectives, such
as directing users to malicious websites, triggering harmful command execution,
or launching denial-of-service attacks. We formulate UniC-RAG as an
optimization problem and further design an effective solution to solve it,
including a balanced similarity-based clustering method to enhance the attack's
effectiveness. Our extensive evaluations demonstrate that UniC-RAG is highly
effective and significantly outperforms baselines. For instance, UniC-RAG could
achieve over 90% attack success rate by injecting 100 adversarial texts into a
knowledge database with millions of texts to simultaneously attack a large set
of user queries (e.g., 2,000). Additionally, we evaluate existing defenses and
show that they are insufficient to defend against UniC-RAG, highlighting the
need for new defense mechanisms in RAG systems.
Ссылки и действия
Дополнительные ресурсы: