Diagnosing Failure Root Causes in Platform-Orchestrated Agentic Systems: Dataset, Taxonomy, and Benchmark

## Контекст Агентские системы, объединяющие несколько систем на основе Large Language Models (LLM), взаимодействующих через инструменты и структурированные интеракции, широко применяются для решения сложных задач. Улучшение таких систем требует понимания их проблем, в том числе идентификации проблемных мест. Особенно актуальным становится это в условиях появления низкокодовых платформ, например, Dify, которые позволяют быстро создавать и управлять агентскими системами. Однако недостаточность методов для выявления корневых причин недостатков в таких системах остается значимой проблемой. ## Метод Для исследования корневых причин недостатков в агентских системах был создан набор данных AgentFail, содержащий 307 записей об ошибках из 10 различных агентских систем. Для каждой записи были применены тонко постановленные аннотации, связывающие ошибки с их причинами. Для повышения надежности этого процесса использовалось отладочное решение на основе рефлективного розыска причин. Далее был разработан таксономический анализ для классификации причин ошибок и создана б BENCHMARK для автоматизированного определения корневых причин. ## Результаты Исследования показали, что существует 10 основных причин недостатков в агентских системах. Многие из них связаны с некорректным обращением с метаданными, неполным вычислением задач и ошибками в синтаксисе. Бенчмарк показал, что использование таксономии увеличивает точность идентификации корневых причин до 33.6%, что свидетельствует о сложности этой задачи. Несмотря на это, результаты указали на то, что задача идентификации корневых причин может быть улучшена с помощью таксономии и внедрения новых аналитических подходов. ## Значимость Предложенный набор данных и таксономия могут быть применены в разработке новых методов тестирования и мониторинга агентских систем. Эти инструменты позволят оптимизировать решения, снизить стоимость и увеличить надежность таких систем. В будущем, улучшение таксономии и интеграция более сложных методов могут повысить точность идентификации причин недостатков. ## Выводы Предложенная работа предоставляет надежный набор данных и аналитические средства для выявления и анализа корневых причин недостатков в агентских системах. Результаты показывают, что текущая точность идентификации корневых причин довольно низкая, что подтверждает сложность задачи. Несмотря на это, разработанные методы могут стать фундаментом для дальнейших исследований в этой области.