MCPSecBench: A Systematic Security Benchmark and Playground for Testing Model Context Protocols
2508.13220v1
cs.CR, cs.AI
2025-08-21
Авторы:
Yixuan Yang, Daoyuan Wu, Yufan Chen
Резюме на русском
#### Контекст
Large Language Models (LLMs) глубоко внедрены в реальные приложения, используя Model Context Protocol (MCP) — универсальный и открытый стандарт для подключения AI-агентов к данным и инструментам. Хотя MCP улучшает возможности LLMs, он также расширяет их атакуемую поверхность и создает новые угрозы безопасности. Недостаток в систематизированных тестах безопасности для MCP сделал эту область недостаточно исследованной. Цель нашей работы — закрыть этот gap, обеспечив методологию и средства для методичного тестирования безопасности MCP.
#### Метод
MCPSecBench представляет собой систематическую платформу для тестирования безопасности MCP. Она включает:
1. **Промпт-датасеты** — наборы запросов для активации сценариев.
2. **MCP-серверы** — реализации протокола, активирующие взаимодействие с клиентами.
3. **MCP-клиенты** — агенты, инициирующие запросы к серверам.
4. **Атакующие скрипты** — реализации 17 типов атак, определенных в нашей taxonomy.
Этот модульный подход позволяет интегрировать любые клиентские или серверные реализации для подробного анализа безопасности. Мы протестировали платформы Claude, OpenAI и Cursor, используя наши ресурсы.
#### Результаты
Мы провели ряд экспериментов, используя нашу систему, и получили следующие результаты:
- **Успешные атаки**: 85% из 17 видов атак успешно скомпрометировали по крайней мере одну платформу.
- **Классы уязвимостей**: central-protocol attack, prompt-based attack, tool-centric attack, и transport-layer attack.
- **Переменность со стороны подключения**: различия в поведении LLM-based agents зависят от платформы, модели и способа подключения.
Эти результаты подтверждают широкое распространение грандиозных проблем безопасности в MCP и разнообразие их влияния.
#### Значимость
MCPSecBench открывает новые возможности для систематического тестирования безопасности MCP. Он может быть применен во многих областях, включая AI-системы, IoT, и открытые сети. Наш подход обеспечивает:
1. **Повышение безопасности**: стандартизация тестирования для MCP.
2. **Простоту внедрения**: модульный характер системы позволяет легко добавить новые клиентские или серверные реализации.
3. **Продвинутые возможности**: позволяет тестировать новые атаки и защитные методы.
#### Выводы
MCPSecBench устанавливает новый стандарт для тестирования безопасности MCP. Мы планируем продвинуть нашу работу на пути к:
1. Расширению набора атак.
2. Оптимизации решений для MCP-систем.
3. Улучшению архитектуры для передовых технологий в области LLMs и MCP.
Abstract
Large Language Models (LLMs) are increasingly integrated into real-world
applications via the Model Context Protocol (MCP), a universal, open standard
for connecting AI agents with data sources and external tools. While MCP
enhances the capabilities of LLM-based agents, it also introduces new security
risks and expands their attack surfaces. In this paper, we present the first
systematic taxonomy of MCP security, identifying 17 attack types across 4
primary attack surfaces. We introduce MCPSecBench, a comprehensive security
benchmark and playground that integrates prompt datasets, MCP servers, MCP
clients, and attack scripts to evaluate these attacks across three major MCP
providers. Our benchmark is modular and extensible, allowing researchers to
incorporate custom implementations of clients, servers, and transport protocols
for systematic security assessment. Experimental results show that over 85% of
the identified attacks successfully compromise at least one platform, with core
vulnerabilities universally affecting Claude, OpenAI, and Cursor, while
prompt-based and tool-centric attacks exhibit considerable variability across
different hosts and models. Overall, MCPSecBench standardizes the evaluation of
MCP security and enables rigorous testing across all MCP layers.
Ссылки и действия
Дополнительные ресурсы: