Architecting Resilient LLM Agents: A Guide to Secure Plan-then-Execute Implementations

## Контекст В последние годы искусственный интеллект (ИИ) стал одной из самых востребованных технологий, вносящих значительные вклады в развитие различных отраслей. Одним из наиболее заметных направлений является развитие говорящих моделей, таких как Large Language Models (LLM). Эти модели позволяют автоматизировать сложные, многошаговые задачи, но при этом создают новые проблемы в области безопасности и надежности. Одна из самых острых проблем в развитии LLM-агентов — это их уязвимость к атакам, таким как indirect prompt injection (IPI). Эти атаки могут привести к нежелательным последствиям, включая потерю контроля над агентом и даже утечку конфиденциальных данных. Поэтому, требуется разработка безопасных, надежных и прозрачных архитектур, которые могут стать основой для развития LLM-агентов. В этом контексте появляется идея Plan-then-Execute (P-t-E), которая предлагает разделить процессы планирования и исполнения задач. Этот подход может стать решением для некоторых проблем, связанных с безопасностью и надёжностью LLM-агентов. ## Метод В центре данного исследования лежит Plan-then-Execute (P-t-E) — архитектурный подход, который разделяет стратегическое планирование от технического исполнения. Этот метод позволяет повысить прозрачность и надёжность агента, так как каждое из этих процессов может быть отдельно проанализировано и подкорректировано. Работа агента основывается на двух основных компонентах: **Planner** и **Executor**. **Planner** отвечает за стратегическое планирование задач, а **Executor** — за их исполнение. Это разделение не только повышает прозрачность, но и позволяет лучше контролировать взаимодействие с системными ресурсами. Для реализации P-t-E была разработана специальная архитектура, в которой используются технологии, такие как stateful graphs (для поддержки перепланирования) и sandboxing-технологии (для защиты от внешних атак). Этот подход позволяет улучшить качество решений и защитить систему от потенциальных угроз. ## Результаты Для проверки эффективности P-t-E были проведены несколько экспериментов с использованием различных LLM-агентов. В ходе этих экспериментов было показано, что P-t-E предоставляет значительные преимущества по сравнению с другими архитектурами, такими как ReAct (Reason + Act). В частности, P-t-E позволил повысить качество решений, снизить затраты на вычисления и обеспечить более высокую надёжность. Одним из ключевых результатов является устойчивость P-t-E к indirect prompt injection атакам, которые являются одной из самых опасных угроз для LLM-агентов. ## Значимость Результаты исследований показывают, что P-t-E может быть применено в различных областях, где требуется надеж