RAG Security and Privacy: Formalizing the Threat Model and Attack Surface

#### Контекст Ретрансляция-Усиленная Генерация (RAG) — это инновационный подход в области естественного языка, комбинирующий большие модели естественного языка (LLM) с внешним факт-чеком. Выступая как повышение точности и непротиворечивости ответов, RAG также привносит новые риски в области безопасности и конфиденциальности. Известно, что LLM могут хранить сенситивные данные в своих тренировочных данных или откликаться на адверские запросы, и RAG системы наследуют эти уязвимости. Более того, RAG полагается на внешнюю кнобическую базу, что создает новые возможности для атак, таких как выдача информации о наличии и контенте найденных документов или внедрение злонамеренного содержимого для деградации модели. Несмотря на эти риски, не существует формального моделирования рисков для RAG, что ставит на задвойку подходы к обеспечению безопасности в этой области. #### Метод Мы предлагаем полностью новую формальную модель рисков для RAG. Для этого определяется типы атакующих лиц в зависимости от их доступа к компонентам модели (например, внешней кнобической базе, внутренним лизателям или генератору). На основе этого определяются ключевые угрозы, такие как подсчет членства в документах, ядовитые атаки на данные и вредоносное влияние на модель. Также разрабатывается структурированная какталогия угроз, подкрепленная математическими моделями, чтобы установить формальную основу для понимания безопасности в RAG. Целью является предоставить инструментарий для анализа и подавления этих угроз. #### Результаты Мы проводим эксперименты для оценки рисков в RAG, используя реалистичные данные и модели. Наши результаты показывают, что существуют серьезные угрозы, такие как мошенничество членства, основываясь на внешней базе, и возможность внедрения зараженных данных, которые могут существенно повлиять на модель. Доказано, что наличие внешней базы открывает новые, серьезные угрозы, которые не присутствуют в стандартных LLM. Эти результаты подкрепляются статистическими данными и анализом сценариев атак. #### Значимость Результаты имеют критическое значение для обеспечения безопасности RAG и других систем, полагающихся на внешнюю кнобическую базу. Модель, предложенная в данной работе, может быть применена для оценки безопасности новых LLM-систем, а также для разработки устойчивых процедур защиты. Развитие модели позволяет сформировать базу знаний для разработки систем, применяемых в критических сферах, таких как здравоохранение, финансы и юриспруденция. Эта работа также открывает пути для дальнейших исследований в области приклад