AIP: Subverting Retrieval-Augmented Generation via Adversarial Instructional Prompt

## Контекст Retrieval-Augmented Generation (RAG) является мощным подходом для повышения качества текстового понимания и генерации в крупных моделях языка (LLMs). Он добавляет внешние данные в поток генеративной модели, чтобы улучшить точность фактов и прозрачность результатов. Однако эта зависимость от внешних источников данных создает новые уязвимости в восстановительной части, а не только в модели языка. Ранее известные атаки на RAG-системы основывались главным образом на сбивании пользовательских запросов, что не всегда возможно в реальной ситуации из-за защищенных или фиксированных входных данных. Этот подход не учитывает более распространенный и скрытый вектор атак — инструкционные промпты, которые часто повторяются, широко распространены и нередко не проверяются на наличие уязвимостей. Наша работа сосредотачивается на том, как эти промпты могут быть использованы в атаках, которые могут повлиять на выводы RAG-систем, не внося видимых изменений в интерфейсе или поведение модели. ## Метод Мы предлагаем вновь открытое подход к атакам, называемое Adversarial Instructional Prompt (AIP). Основная идея заключается в том, чтобы целенаправленно изменять инструкционные промпты, которые используются в RAG-системах, чтобы отклонить их выводы в нежелательном направлении. Для этого мы основываемся на трех основных принципах: (1) **naturalness** — изменения промптов должны быть незаметны для пользователей; (2) **utility** — промпты должны оставаться полезными для задачи; (3) **robustness** — атака должна оставаться эффективной в разных контекстах и вариациях запросов. Для эволюции таких промптов мы предлагаем генетический алгоритм с оптимизацией на нескольких задачах: поддержание целевой функции атаки, сохранения качества выполнения задачи и незаметности атаки. ## Результаты Мы проводили эксперименты на нескольких сценариях использования RAG-систем с использованием различных вариантов запросов. Мы сравнивали AIP с другими методами атак на RAG и показали, что он достигает высокой степени эффективности: ASR (Adversarial Success Rate) до 95.23%, что значительно превышает результаты предыдущих методов. Эксперименты показали, что AIP успешно воздействует на RAG-системы, изменяя их выводы без изменения входных данных. Это указывает на серьезную уязвимость в инфраструктуре RAG, которую необходимо учитывать при проектировании безопасных систем. ## Значимость AIP открывает возможность для взлома RAG-систем, используя довольно невидимый вектор — инструкционные промпты. Это открытие подчеркивает необходимость более тщательной проверки и сертификации таких промптов, которые часто считаются безопасными. Наш подход имеет широкие приложения в сферах, г