📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Runpeng Geng, Yanting Wang, Ying Chen, Jinyuan Jia

################################# ## Контекст ################################# Retrieval-augmented generation (RAG) является одной из наиболее популярных технологий в сфере генерируемых текстов, используемых в различных областях, таких как финансы, здравоохранение и безопасность информации. Эти системы объединяют модели генерируемого текста с возможностью взаимодействия с базами знаний, чтобы обеспечивать точные и согласованные ответы. Однако существуют многочисленные исследования, подтверждающие чувствительность RAG-систем к атакам, при которых злоумышленник может инъектировать в базу знаний злонамеренные данные, чтобы принудительно изменить вывод модели. Несмотря на это, большинство исследований сосредоточены на атаках на конкретные запросы или запросы, имеющие схожие тематики или ключевые слова. Мотивацией для настоящего исследования является разработка универсального метода атак, который может применяться против широкого круга запросов с разными темами и областями применения. ################################# ## Метод ################################# UniC-RAG (Universal Knowledge Corruption Attacks to Retrieval-Augmented Generation) представляет собой инновационный подход к атакам на базы знаний RAG-систем. Он оптимизирует количество заранее подготовленных злонамеренных текстов, чтобы они могли приводить к злонамеренным результатам в ответах модели для множества различных запросов. Чтобы увеличить эффективность атаки, мы предлагаем балансированный метод кластеризации на основе схожести, который позволяет гарантировать, что каждый класс запросов будет эффективно атакован. Эта архитектура включает в себя нейронную сеть, которая генерирует злонамеренные тексты с учетом приоритетов заданных целей (например, ориентированные на вредоносные сайты, команды или деньджинг). Разработанная методология позволяет взломщику применять одни и те же тексты для атаки на разные сценарии, что делает UniC-RAG универсальным и мощным инструментом для злоумышленников. ################################# ## Результаты ################################# Мы оценивали UniC-RAG на множестве экспериментов с различными базами знаний и запросами. В ходе экспериментов удалось достичь более 90% успешности атак при использовании всего 100 злонамеренных текстов, чтобы атаковать более 2000 различных запросов, охватывающих различные тематики и области применения. Например, в сценарии, где злоумышленник стремился подталкивать пользователей к посещению вредоносных ресурсов, UniC-RAG смог добиться того, чтобы более 90% пользователей после получения ответа системы переходили на указанные сайты. Также были проведены тесты на других целях, таких как выполнение вредоносных команд и создание деньджинга. В сравнении с имеющимися атаками UniC-RAG показал значительно лу
Annotation:
Retrieval-augmented generation (RAG) systems are widely deployed in real-world applications in diverse domains such as finance, healthcare, and cybersecurity. However, many studies showed that they are vulnerable to knowledge corruption attacks, where an attacker can inject adversarial texts into the knowledge database of a RAG system to induce the LLM to generate attacker-desired outputs. Existing studies mainly focus on attacking specific queries or queries with similar topics (or keywords). I...
ID: 2508.18652v1 cs.CR, cs.CL, I.2.7