Securing Agentic AI: Threat Modeling and Risk Analysis for Network Monitoring Agentic AI System
2508.10043v1
cs.CR, cs.AI
2025-08-15
Авторы:
Pallavi Zambare, Venkata Nikhil Thanikella, Ying Liu
Резюме на русском
## Контекст
Сетевые мониторинг-системы, использующие Агентские ИИ, становятся все более важными в цифровых экосистемах, однако они подвержены значительным рискам безопасности. Например, злоумышленники могут использовать атаки, такие как хищение данных или внедрение вредоносного кода, для подрыва надежности таких систем. Эти риски вводят необходимость в разработке систем безопасности, которые могут эффективно обнаруживать и предотвращать подобные атаки. Одной из таких систем является MAESTRO, которая предлагает мощный фреймворк для моделирования угроз, анализа рисков и поддержки безопасности агентского ИИ.
## Метод
Прототип системы был разработан с использованием Python, LangChain и телеметрии через WebSockets. Он включает модули для интерпретации, запоминания, уточнения параметров и обнаружения аномалий. Для моделирования угроз использовалась архитектура MAESTRO, состоящая из семи уровней, которая позволяет выявлять уязвимости и предоставлять рекомендации по их устранению. Этапы разработки включали разработку системы, выполнение экспериментов с подготовленными данными и оценку ее производительности в реальных условиях.
## Результаты
На основе использованных данных были подтверждены две практические угрозы: (i) отказ в обслуживании ресурсов с помощью техники реплея нападения на трафик (DoS) и (ii) отравление памяти системы путем изменения исторических журналов, которые хранит агент. Эти угрозы привели к заметной деградации производительности системы, включая задержки в обновлении телеметрии и увеличение нагрузки на вычислительные ресурсы. Предложенное решение заключается в применении многоуровневой системы защиты с изоляцией памяти, валидацией планировщиков и реальном времени обнаружением аномалий.
## Значимость
Результаты имеют значительный потенциал для применения в сетевом мониторинге и решении проблем безопасности в Интернете вещей (IoT). Методы, разработанные в рамках этого исследования, могут быть применены для выявления и обезвреживания угроз в широком диапазоне систем. Они также способствуют созданию надежных, устойчивых к атакам систем, что является критически важным для обеспечения безопасности сетевых систем в будущем.
## Выводы
Исследование подтвердило эффективность MAESTRO в моделировании угроз и оценке рисков для Агентских ИИ в сетевом мониторинге. Оно показало, что данный подход может быть использован для защиты систем от атак, таких как ресурсосъем и отравление памяти. В будущем будет целесообразно проводить дополнительные исследования, сфокусированные на повышении надежности систем
Abstract
When combining Large Language Models (LLMs) with autonomous agents, used in
network monitoring and decision-making systems, this will create serious
security issues. In this research, the MAESTRO framework consisting of the
seven layers threat modeling architecture in the system was used to expose,
evaluate, and eliminate vulnerabilities of agentic AI. The prototype agent
system was constructed and implemented, using Python, LangChain, and telemetry
in WebSockets, and deployed with inference, memory, parameter tuning, and
anomaly detection modules. Two practical threat cases were confirmed as
follows: (i) resource denial of service by traffic replay denial-of-service,
and (ii) memory poisoning by tampering with the historical log file maintained
by the agent. These situations resulted in measurable levels of performance
degradation, i.e. telemetry updates were delayed, and computational loads were
increased, as a result of poor system adaptations. It was suggested to use a
multilayered defense-in-depth approach with memory isolation, validation of
planners and anomaly response systems in real-time. These findings verify that
MAESTRO is viable in operational threat mapping, prospective risk scoring, and
the basis of the resilient system design. The authors bring attention to the
importance of the enforcement of memory integrity, paying attention to the
adaptation logic monitoring, and cross-layer communication protection that
guarantee the agentic AI reliability in adversarial settings.
Ссылки и действия
Дополнительные ресурсы: