Automatic Red Teaming LLM-based Agents with Model Context Protocol Tools
2509.21011v1
cs.CR, cs.AI, cs.SE
2025-09-27
Авторы:
Ping He, Changjiang Li, Binbin Zhao, Tianyu Du, Shouling Ji
Резюме на русском
## Контекст
Появление бо LLM-based agents (LLM-агентов), основанных на больших языковых моделях, привело к их широкому распространению в различных сферах применения. Интеграция серии Model Context Protocol (MCP) в эти агенты позволила стандартизировать взаимодействие между ними и их средами, такими как платформы генерации текста и диалоговые системы. Однако применение MCP носит риск токсических атак, когда злоумышленник внедряет вредоносные инструменты в среду, чтобы сбить с толку или красть данные. Существующие исследования указывали на эти уязвимости, однако ред таиминг-атаки все еще остаются в активном этапе проверки, а автоматическое и систематическое тестирование такого рода вредоносного использования MCP остается недостроенным.
## Метод
Мы предлагаем AutoMalTool, автоматизированный фреймворк для тестирования LLM-агентов при атаках с использованием вредоносных MCP-инструментов. Наш подход заключается в генерации настраиваемых MCP-инструментов, которые могут влиять на поведение агентов. Технология основывается на машинном обучении, которая позволяет генерировать систематические ред таиминг-атаки в рамках тестирования безопасности LLM-агентов. Мы интегрируем техники подделки входных данных и анализ контекстов, чтобы генерировать целенаправленные атаки, которые могут работать в различных сетах и ситуациях.
## Результаты
Наши эксперименты показали, что AutoMalTool эффективно генерирует вредоносные MCP-инструменты, которые могут изменять поведение любых LLM-агентов, в том числе весьма современных. Мы оценили его работу на множестве различных сетах и ситуаций, в том числе на тест-козе, в реальных системах, и на тестовых версиях популярных LLM-based agents. Результаты показали, что AutoMalTool может эффективно выполняться в различных средах и скрывать свои действия от существующих систем защиты. Однако, мы также отметили, что наш подход еще не в состоянии контролировать полностью все варианты взаимодействия, что может стать ограничением.
## Значимость
AutoMalTool открывает новый подход к тестированию безопасности LLM-based agents, в том числе в сферах, где используются MCP-инструменты. Это может помочь в поиске новых уязвимостей, связанных с использованием MCP-инструментов, и в улучшении систем защиты тест-коз. Наш фреймворк также может использоваться в направлении разработки безопасных технологий, которые могут избежать подобных атак. Мы также планируем расширить нашу работу, включив в нее более широкий спектр социальных и технологических сетах.
## Выводы
Мы предлагаем AutoMalTool, автоматизированный фреймворк для тестирования безопасности LLM
Abstract
The remarkable capability of large language models (LLMs) has led to the wide
application of LLM-based agents in various domains. To standardize interactions
between LLM-based agents and their environments, model context protocol (MCP)
tools have become the de facto standard and are now widely integrated into
these agents. However, the incorporation of MCP tools introduces the risk of
tool poisoning attacks, which can manipulate the behavior of LLM-based agents.
Although previous studies have identified such vulnerabilities, their red
teaming approaches have largely remained at the proof-of-concept stage, leaving
the automatic and systematic red teaming of LLM-based agents under the MCP tool
poisoning paradigm an open question. To bridge this gap, we propose
AutoMalTool, an automated red teaming framework for LLM-based agents by
generating malicious MCP tools. Our extensive evaluation shows that AutoMalTool
effectively generates malicious MCP tools capable of manipulating the behavior
of mainstream LLM-based agents while evading current detection mechanisms,
thereby revealing new security risks in these agents.
Ссылки и действия
Дополнительные ресурсы: