Enterprise AI Must Enforce Participant-Aware Access Control
2509.14608v1
cs.CR, cs.AI
2025-09-20
Авторы:
Shashank Shreedhar Bhatt, Tanmay Rajore, Khushboo Aggarwal, Ganesh Ananthanarayanan, Ranveer Chandra, Nishanth Chandran, Suyash Choudhury, Divya Gupta, Emre Kiciman, Sumit Kumar Pandey, Srinath Setty, Rahul Sharma, Teijia Zhao
Резюме на русском
## Контекст
Организационные системы все чаще используют крупные языковые модели (LLMs) для обработки запросов пользователей и принятия решений. Однако это приводит к новым проблемам безопасности, так как эти модели обучаются на корпоративных данных, которые могут содержать конфиденциальную информацию. Особенно затруднительным является сочетание LLMs с технологией Retrieval-Augmented Generation (RAG), которая повышает точность ответа, но также увеличивает риск утечки конфиденциальных данных. Выявлено, что существующие методы защиты, такие как обфускация запросов, фильтрация выходных данных и изоляция систем, часто оказываются неэффективными, так как не могут гарантировать полную защиту от утечки конфиденциальных данных. Это вызывает необходимость в развитии более надежных механизмов защиты, которые могут гарантировать защиту конфиденциальности в средах с множеством пользователей.
## Метод
Разработанная архитектура основывается на основе доступа, который предполагает жесткое применение доступа к данным для каждого пользователя и системы. Методология включает в себя несколько ключевых элементов: авторизацию пользователей и доступа к данным на этапе обучения модели, защиту на этапе вывода с помощью ограниченного вывода, а также защиту данных в системе RAG. Эта архитектура разработана с учетом того, чтобы обеспечить жесткое управление доступом к всей информации, взаимодействующей с моделью. Метод также включает в себя разработку моделей, которые могут адаптироваться к этой системе доступа, чтобы обеспечить безопасное и эффективное использование моделей в корпоративных средах.
## Результаты
На базе предложенной системы были проведены эксперименты, использовавшие различные данные, в том числе корпоративные данные, для проверки эффективности защиты. Эксперименты показали, что новая модель значительно снижает риск утечки конфиденциальных данных, по сравнению с существующими методами. Также было продемонстрировано, как архитектура позволяет уменьшить влияние нежелательных последствий, таких как недоступность данных или неточность ответов. Тестирование было проведено на различных сценариях, в том числе на сценариях с несколькими пользователями, что демонстрирует устойчивость архитектуры к разным условиям.
## Значимость
Предложенная модель может быть применена в различных корпоративных ситуациях, где требуется конфиденциальность данных и безопасность. Она может использоваться для защиты конфиденциальных данных в любой системе, взаимодействующей с языковыми моделями. Эта модель также может привести к значительным улучшениям в обеспе
Abstract
Large language models (LLMs) are increasingly deployed in enterprise settings
where they interact with multiple users and are trained or fine-tuned on
sensitive internal data. While fine-tuning enhances performance by
internalizing domain knowledge, it also introduces a critical security risk:
leakage of confidential training data to unauthorized users. These risks are
exacerbated when LLMs are combined with Retrieval-Augmented Generation (RAG)
pipelines that dynamically fetch contextual documents at inference time.
We demonstrate data exfiltration attacks on AI assistants where adversaries
can exploit current fine-tuning and RAG architectures to leak sensitive
information by leveraging the lack of access control enforcement. We show that
existing defenses, including prompt sanitization, output filtering, system
isolation, and training-level privacy mechanisms, are fundamentally
probabilistic and fail to offer robust protection against such attacks.
We take the position that only a deterministic and rigorous enforcement of
fine-grained access control during both fine-tuning and RAG-based inference can
reliably prevent the leakage of sensitive data to unauthorized recipients.
We introduce a framework centered on the principle that any content used in
training, retrieval, or generation by an LLM is explicitly authorized for
\emph{all users involved in the interaction}. Our approach offers a simple yet
powerful paradigm shift for building secure multi-user LLM systems that are
grounded in classical access control but adapted to the unique challenges of
modern AI workflows. Our solution has been deployed in Microsoft Copilot
Tuning, a product offering that enables organizations to fine-tune models using
their own enterprise-specific data.
Ссылки и действия
Дополнительные ресурсы: