Sentinel Agents for Secure and Trustworthy Agentic AI in Multi-Agent Systems

#### Контекст Многоагентные системы (MAS) представляют собой системы, в которых несколько автономных агентов сотрудничают для достижения целей, часто в сложных и динамически изменяющихся средах. Несмотря на их потенциал, MAS чувствительны к различным угрозам, таким как обманные запросы (prompt injection), коллаборативные атаки, генерирование ложных данных (hallucinations) и нарушения конфиденциальности. Такие угрозы могут привести к негативным последствиям, включая потерю конфиденциальности, утечку данных и небезопасное поведение агентов. Необходимость в безопасности и доверии в MAS делает ключевыми задачи, такие как мониторинг и анализ поведения агентов, определение аномалий и принятие мер по изоляции рисков. #### Метод Основой фреймворка является Sentinel Agents, распределенная система мониторинга, которая включает в себя несколько компонентов. Эти агенты используют техники, такие как семантический анализ с помощью бо LLM, бихевиоральный анализ, верификация с использованием обнаружения контекста (retrieval-augmented verification) и сравнительный анализ (cross-agent anomaly detection). Sentinel Agents могут отслеживать интерагентные коммуникации, определять потенциальные угрозы, применять контроли доступа и поддерживать регистры аудита. Особенностью фреймворка является Coordinator Agent, который управляет политиками, управляет участием агентов и обрабатывает сигналы от Sentinel Agents. Coordinator Agent может адаптировать политики, изолировать небрежно действующие агентов и содержать угрозы, поддерживая целостность MAS. Данная двухуровневая модель обеспечивает динамические и адаптивные механизмы защиты. #### Результаты Мы провели эксперименты с использованием синтетических атак, включая prompt injection, hallucination и высвобождение данных. Sentinel Agents успешно обнаружили все попытки атаки, подтвердив эффективность их методов. Была проанализирована их способность отслеживать интерагентные коммуникации, определять аномалии и применять адаптивные меры защиты. Также мы проинспектировали то, как Coordinator Agent может адаптировать политики и содержать угрозы, что демонстрирует его важность в обеспечении целостности и надежности MAS. #### Значимость Предложенный фреймворк может быть применен в различных областях, таких как цифровые экосистемы, системы управления, живые сервисы и экономические системы. Он обеспечивает не только мониторинг и защиту, но также поддерживает выполнение политик, обеспечивает высокую степень наблюдаемости и поддерживает эволюцию политик в ходе использования. Этот фреймворк позволяет улучшить безопасность, доверие и надежность MAS, делая его привлекательным для решения реальных задач в сложных средах. #### Выводы Мы представили Sentinel Agents, распределенную модель за