Searching for Privacy Risks in LLM Agents via Simulation

## Контекст Современная Интернет-экономика сильно полагается на широковещательное развертывание генерирующих языковых моделей (LLM) в качестве агентов для обеспечения различных сервисов. Однако возникает критическая проблема: злоумышленники могут использовать LLM-агенты для проводить атаки, нацеленные на запрос и извлечение чувствительной информации в динамическом, многоразовом диалоге. Эти атаки могут привести к серьезным нарушениям конфиденциальности, но их сложная и эволюционная природа затрудняет ручной поиск этих уязвимостей. Для раскрытия этих возможностей и защиты от них требуются автоматизированные средства, которые могут эффективно моделировать и анализировать такие сценарии. ## Метод Мы предлагаем поисковую фреймворк для анализа и отражения рисков конфиденциальности в LLM-агентах. Он основывается на симуляции взаимодействия между тремя ролями: **данные подлежащие защите**, **атакующий агент** и **защитный агент**. В каждом эксперименте данные подлежащие защите определяются, а атакующий агент пытается их извлечь, используя многотактные диалоги, в то время как защитный агент адаптируется для предотвращения этого. Мы используем генерирующие языковые модели для оптимизации этих ролей, определяя новые инструкции для каждой роли на каждом шаге. Этот подход позволяет проводить многопоточные поисковые процедуры с параллельным обслуживанием инструкций и использованием параллельной синхронизации. Это предлагается для быстрого и эффективного обнаружения рисков конфиденциальности. ## Результаты Мы проводили эксперименты, в которых виртуальные агенты проводят диалоги от имени пользователя и стараются извлечь чувствительные данные. Мы используем данные из различных сценариев, включая персональные данные, финансовую информацию и личные предпочтения. Наши эксперименты показали, что атакующие стратегии развиваются от простых запросов к более сложным многотактным сценариям, таким как имитация и подделка согласия. Защитные стратегии также развивались, перемещаясь от простых правил до более сложных механизмов, таких как взаимодействие с удостоверениями. Наши результаты показали, что атаки и защиты, обнаруженные в одной среде, могут быть перенесены в другие, что демонстрирует их практическую значимость. ## Значимость Результаты нашей работы имеют широкие применения в безопасности и конфиденциальности в Интернет-экономике. Наш подход может быть использован для тестирования безопасности в системах с LLM-агентами, для создания более безопасных диалоговых систем и для разработки но