Disabling Self-Correction in Retrieval-Augmented Generation via Stealthy Retriever Poisoning

## Контекст Retrieval-Augmented Generation (RAG) является стандартным подходом для улучшения надежности крупных языковых моделей (LLMs). Ранее установлено, что RAG-системы могут быть обманутыми в генерацию выбранных атакующим выходов путем угробления знаний базы. Однако новые исследования показывают, что такие атаки могут быть подавлены сильной **самокоррекцией (Self-Correction Ability, SCA)** современных LLMs, которая может отклонять ложное содержимое при надлежащем настройке. Это препятствует атакующим в своих попытках использовать RAG-системы для подделки выводов. В отличие от предыдущих методов, которые атаковали знанийскую базу, данное исследование предлагает новый подход — **DisarmRAG**, который стремится напрямую смягчить SCA, внедряя атакующие инструкции в контекст, предоставляемый модели. ## Метод В качестве принципиального подхода **DisarmRAG** использует методы контрастного обучения для редактирования ретрайвера. Это достигается через локализованные, почти незаметные изменения в модели ретрайвера, обеспечивающие возврат злоумышленниками подготовленных инструкций только для заранее выбранных запросов, при этом сохраняя нормальное поведение ретрайвера. Для усиления злоумышленников вводят **итеративный кооптимизационный фреймворк**, автоматически находящий наиболее эффективные инструкции, еще и способные проходить подсказки-защиты. ## Результаты Нашлись и протестировались шесть LLMs, а также использовались три бенчмарка для вопросов и ответов. Результаты показали, что **DisarmRAG** способен воздействовать на ретрайвер с высокой точностью, при этом 90% успешных атак проходят без обнаружения в различных защитных условиях. Это подчеркивает необходимость в развитии ретрайвер-специфичных методов защиты. ## Значимость Полученное решение может использоваться в сферах, где подделка выводов может привести к серьезным последствиям — например, в юридических, финансовых и медицинских системах. Благодаря возможности управления выводами модели с помощью SCA, **DisarmRAG** открывает пути к более эффективной атаке и позволяет расширить границы исследований в области безопасности языковых моделей. ## Выводы Исследование установило новый тип атаки на RAG-системы, основанный на воздействии на ретрайвер. Оно показало, что ретрайвер может быть напрямую изменен для устранения самокоррекции и подготовки злонамеренных выводов. Будущие исследования должны фокусироваться на разработке эффективных защитных методов для ретрайвера и расширении обзора возможных атак на языковые модели.