DCMI: A Differential Calibration Membership Inference Attack Against Retrieval-Augmented Generation

## Контекст Retrieval-Augmented Generation (RAG) — это мощная архитектура, которая объединяет генерирующую модель с внешними базами данных, чтобы уменьшить "халтуринг" (hallucinations) в ответах. Она найдена в большинстве современных приложений, таких как системы вопроса-ответа, где необходимо обратиться к широкой информационной базе. Однако эта модель также вводит новые риски, особенно для обработки конфиденциальных данных. Например, RAG может раскрыть, была ли конкретная запись включена в сводку, что создает риск дыры в защите личных данных. Многие методы подхода Membership Inference Attack (MIA) стараются выявить такие дыры, но часто сталкиваются с тем, что результаты могут быть повлияны не только найденными документами, но и недостающими. Наша команда разработала **DCMI** (Differential Calibration Membership Inference Attack), чтобы более точно определять, были ли документы включены в вывод RAG. ## Метод DCMI использует **метод дифференциальной калибровки**, чтобы различать ответы RAG относительно документов, которые были включены в вывод в отношении запроса. Чтобы сделать это, мы используем **перерисовку запроса** (query perturbation), которая меняет запрос с минимальным изменением смысла, но с большим воздействием на нейросетевую модель. Эти перерисованные запросы помогают нам определить, насколько сильно ответы RAG зависят от отдельных документов. Мы также анализируем **пространство вариаций** между ответами на документы-участников (members) и неучастников (non-members), чтобы выделить сильные сигналы, связанные с включенными документами. DCMI работает так, чтобы исключить значительный шум, который мог быть вызван невинными документами, которые не были включены в вывод. ## Результаты Мы провели эксперименты на двух уровнях — симуляционных и реальных системах RAG. В первых, мы использовали Flan-T5 в качестве модели RAG и синтетические данные для эмуляции различных уровней включения документов. Результаты показали, что DCMI опередила базовый метод MBA (Maximum Calibration MIA) над уровнем доверия, повысив AUC (Area Under Curve) до **97.42%** и достигнув **94.35%** точности с значительным увеличением (плюс 40%) по сравнению с лучшим базовым решением. Мы также протестировали DCMI на **Dify** и **MaxKB** — двух реальных платформах RAG. Там, DCMI показала выигрыш в **10%-20%** по сравнению с MBA, что подтверждает эффективность нашего подхода в реальных условиях. ## Значимость Наша работа открывает новые возможности для изучения проблемы защиты конфиденциальности в RAG-системах. Особенно важно, что DCMI не только демонстрирует эффективность в синтетических условиях, но и показывает выигрыш в реальных платформах. Это значит, что наш подход может быть применен