Privacy in Action: Towards Realistic Privacy Mitigation and Evaluation for LLM-Powered Agents

## Контекст Повышение автономности LLM-движков в обработке сенситивных данных, оперируя в рамках таких фреймворков, как Model Context Protocol (MCP) и Agent-to-Agent (A2A), приводит к возникновению серьезных проблем с приватностью. Несмотря на то, что предыдущие исследования показали существующие проблемы в параллели между Q&A-производительностью LLMs и их поведением в виде агентов, существующие бенчмарки ограничиваются статическими и упрощенными сценариями. Это снижает их реалистичность и не дает полного представления о реальных рисках приватности в современных агентных системах. ## Метод Мы предлагаем PrivacyChecker — модельно-агностическую методику, основанную на принципах контекстной целостности, для минимизации приватности. Метод применяется в случае агентов, работающих в глубоких сетевых средах. Он достигает сокращения приватности на 36.08% до 7.30% на DeepSeek-R1 и от 33.06% до 8.32% на GPT-4o, при этом сохраняя высокую полезность задачи. Также мы представляем PrivacyLens-Live — динамическую платформу, превращающую статические бенчмарки в живые MCP и A2A-среды, акцентируя внимание на более широком спектре рисков. ## Результаты Эксперименты показали, что PrivacyChecker эффективно уменьшает риски в рабочей среде, используя модели DeepSeek и GPT-4o. При этом сохраняется высокая эффективность в выполнении задач. На основе данных инструмента PrivacyLens-Live, мы продемонстрировали, что в реальной среде угрозы для приватности могут быть значительно выше, чем в статических тестовых сценариях. ## Значимость Наша работа может быть применена в различных сферах, где требуется защита приватности, например, в медицине, финансах или правоохранительных органах. Она предоставляет практичные инструменты для снижения рисков и позволяет агентным системам более безопасно работать с чувствительными данными. Это может привести к улучшению доверия к агентным технологиям в пользовательских приложениях. ## Выводы Мы представили мощное решение PrivacyChecker для уменьшения приватности в работающих LLM-агентах, которое демонстрирует существенные достижения в защите данных. Наша платформа PrivacyLens-Live расширяет моделирование статических тестов до динамических сред, что позволяет более точно оценивать реальные угрозы. Мы планируем дальнейшие исследования для расширения функционала и повышения эффективности защиты приватности в агентных системах.