1-2-3 Check: Enhancing Contextual Privacy in LLM via Multi-Agent Reasoning

## Контекст В последние годы широко распространяются технологии на базе бо LLM (large language models), которые обеспечивают возможность удобного интерактивного общения с компьютером. Однако взаимодействие с LLMs может порождать загвоздки в обеспечении контекстуальной приватности, особенно в ситуациях, когда необходимо обрабатывать информацию, содержащую определенные частные подробности. Например, во время учебных или рабочих мероприятий могут возникать ситуации, когда необходимо отделять частные сведения от общедоступной информации. Эти проблемы приводят к потенциальным рискам, если LLMs неправильно интерпретируют данные, что может привести к утечке конфиденциальной информации. Улучшение методов обработки контекстуальной приватности в LLMs является ключевой целью, чтобы обеспечить безопасность и конфиденциальность пользователей. ## Метод Мы предлагаем многоагентную систему, которая декомпозирует задачу обеспечения контекстуальной приватности на отдельные подзадачи. Эти подзадачи включают в себя выделение конкретных фрагментов информации, их классификацию, а также их оценку с точки зрения контекстуальной приватности. Система построена таким образом, что каждый агент отвечает за свою специфическую подзадачу, что позволяет снизить нагрузку на каждый отдельный агент и улучшить общую производительность. Использование многоагентного подхода также позволяет проводить итеративную валидацию решений, что увеличивает надежность системы. Модель тестировалась на различных данных, включая конфиденциальные и публичные тексты, чтобы изучить, как различные типы информации влияют на контекстуальную приватность. ## Результаты Мы провели эксперименты с несколькими моделями LLMs, включая GPT-4o, и сравнили их с базовыми моделями, работающими на одном агенте. Результаты показали, что наша модель снимает примерно \textbf{18%} утечек конфиденциальной информации на наборе данных ConfAIde и \textbf{19%} на PrivacyLens. Эти результаты свидетельствуют о том, что наш подход существенно улучшает приватность, не ухудшая точность удержания общедоступной информации. Мы также провели анализ потока информации, чтобы понять, какие типы ошибок происходят в различных этапах обработки и как они могут повлиять друг на друга. Эти знания помогли нам оптимизировать систему и сделать ее более надежной в отношении контекстуальной приватности. ## Значимость Полученные результаты открывают новые возможности для применения LLMs в различных областях, где необходимо обеспечение контекстуальной приватности. Например, они могут быть использованы в системах управления конфиденциа