Simple Methods Defend RAG Systems Well Against Real-World Attacks
2508.02296v1
cs.CL, cs.IR
2025-08-09
Авторы:
Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc
Резюме на русском
**Резюме**
Надёжность Retreival-Augmented Generation (RAG) систем в критически важных приложениях зависит от того, чтобы они реагировали только на вопросы, соответствующие их знаниям. Однако обеспечение этого непросто: внедоменные (OOD) запросы могут вызвать негативные последствия. В статье предлагается методика для детектирования OOD запросов, основанная на оценке нижних размерностей векторных представлений ответов RAG. Реализованы три подхода к данной задаче: линейная (PCA) и нелинейная (Neural Collapse) визуализации, а также регрессионный подход. Исследования проводились на различных датасетах: StackExchange, MSMARCO, а также в реальных приложениях (например, консультации по вакцинации от COVID-19). Были проведены тесты на уязвимость к атакам, в том числе с использованием генерирующих моделей языка. Результаты показали, что внешний детектор OOD значительно повышает точность ответов и их релевантность к задаче. Этот подход станет ключевым для повышения безопасности и эффективности RAG систем в реальном мире.
Abstract
Ensuring safety and in-domain responses for Retrieval-Augmented Generation
(RAG) systems is paramount in safety-critical applications, yet remains a
significant challenge. To address this, we evaluate four methodologies for
Out-Of-Domain (OOD) query detection: GPT-4o, regression-based, Principal
Component Analysis (PCA)-based, and Neural Collapse (NC), to ensure the RAG
system only responds to queries confined to the system's knowledge base.
Specifically, our evaluation explores two novel dimensionality reduction and
feature separation strategies: \textit{PCA}, where top components are selected
using explained variance or OOD separability, and an adaptation of
\textit{Neural Collapse Feature Separation}. We validate our approach on
standard datasets (StackExchange and MSMARCO) and real-world applications
(Substance Use and COVID-19), including tests against LLM-simulated and actual
attacks on a COVID-19 vaccine chatbot. Through human and LLM-based evaluations
of response correctness and relevance, we confirm that an external OOD detector
is crucial for maintaining response relevance.
Ссылки и действия
Дополнительные ресурсы: