MCPToolBench++: A Large Scale AI Agent Model Context Protocol MCP Tool Use Benchmark

#### Контекст Модели языка с повышенными возможностями (LLMs) становятся все более мощными благодаря возможности интегрировать различные данные и результаты API в контекстную окружающую среду с помощью функциональных вызовов. Обычно используются инструменты, такие как поисковые системы, веб-работники, карты, финансовые системы, файловые системы и браузеры. Однако интеграция этих инструментов требует стандартизации, которая предоставляется Model Context Protocol (MCP). Хотя MCP эффективно обеспечивает контекст, оценка производительности LLMs и AI Agent в области использования MCP-инструментов сталкивается с определенными проблемами. В частности, существуют недостатки в полных данных и бенчмарках для оценки различных MCP-инструментов. Дополнительно, разнообразие форматов ответов от инструментов MCP усложняет процесс оценки. Бенчмарки с высокой успешностью в задачах, таких как программирование и математические задачи, не могут гарантировать такую же успешность на практике, так как результаты зависят от того, на каких MCP-серверах используются инструменты. Кроме того, ограничения контекстного окна LLMs приводят к невозможности вызова многих инструментов в одном запросе, поскольку их описания могут быть достаточно длинными. Чтобы сделать оценку LLMs более объективной и согласованной, мы предлагаем MCPToolBench++ — большой тестовый набор для оценки возможностей LLMs в использовании MCP-инструментов. #### Метод MCPToolBench++ построен на основе маркетплейса более чем 4000 MCP-серверов из 40 категорий, собранных из открытых MCP-рынков и GitHub-сообществ. Бенчмарк включает инструменты, работающие как в одношаговом так и в многошаговом режиме, охватывая различные области, такие как финансы, логистика и интернет-ресурсы. Данные были собраны и проверены вручную, чтобы гарантировать качество и разнообразие. Мы добавили функционал для формирования запросов и синтеза ответов в соответствии с спецификацией MCP. Результаты экспериментов были получены запуском SOTA LLMs с агентскими возможностями, обеспечив достаточную гибкость в анализе производительности. #### Результаты Мы провели эксперименты с несколькими SOTA LLMs, оценивая их возможности работы с MCP-инструментами. Наши результаты показали, что некоторые модели показывают высокую точность и эффективность в одношаговых задачах, но сталкиваются с трудностями при работе с многошаговыми задачами, где требуется координация нескольких инструментов. Особенно заметны проблемы с ответов моделей, когда данные от MCP-инструментов имеют разный формат или содержат ошибки. Бенчмарк позволил нам выявить слабые места в LLMs, та