Auto-Eval Judge: Towards a General Agentic Framework for Task Completion Evaluation

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message # КОНТЕКСТ И ПРОБЛЕМАТИКА С распространением фундаментальных моделей-агентов в различных областях автоматизации и принятия решений становится все более актуальной необходимость в надежной системе оценки их результатов. Традиционные подходы, такие как LLM-as-a-Judge, ограничены оценкой только финальных выходных данных агента, не учитывая важный аспект – пошаговое рассуждение, которое лежит в основе агентского процесса принятия решений. Такой подход недостаточно полный, особенно когда речь идет об агентах, выполняющих сложные, многоступенчатые задачи. Другой класс решений – Agent-as-a-Judge – предлагает использовать один агент для оценки результатов другого. Однако эти системы часто специализированы на узких доменах, что ограничивает их применимость в широком спектре задач. Кроме того, существующие подходы недостаточно гибкие для оценки агентского поведения в различных контекстах, что создает проблему при работе в многообразных сферах применения. В этой статье авторы предлагают решение данной проблемы, представляя универсальный и модульный фреймворк для оценки задач, выполняемых агентами. Фреймворк предназначен для эмуляции человеческого подхода к оценке, разбивая задачу на подзадачи и проверяя каждый шаг на основе доступных данных, включая выходные данные и рассуждения агента. Такой подход стремится обеспечь полноту и консистентность оценки, независимо от домена задачи. # ПРЕДЛОЖЕННЫЙ МЕТОД Предлагаемый фреймворк Auto-Eval Judge основывается на модульной структуре, где каждый модуль отвечает за конкретный аспект оценки. Он разделяет задачу на подзадачи, анализируя пошаговое выполнение и проверяя соответствие каждого шага заданным критериям. Фреймворк использует информацию из выходных данных агента и его рассуждений для проведения оценки. Ключевым элементом фреймворка является его модульность, которая позволяет адаптировать систему к разным типам задач без необходимости перекладывания всей системы. Каждый модуль фокусируется на отдельном аспекте, таком как логическая корректность, соответствие критериям задачи или эффективность выполнения. Затем, результаты каждого модуля агрегируются для формирования конечного вердикта о успешности задачи. Для валидации фреймворка авторы применили его к Magentic-One Actor Agent, оценивая его производительность на двух наборах данных: GAIA и BigCodeBench. Это позволило сравнить производительность с существующим базовым решением, основанным на GPT-4o. # ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В экспериментах фреймворк Auto-Eval Judge демонстрирует значительное улучшение по сравнению с базовым подходом LLM-as-a-Judge. На датасете GAIA фреймворк показал рост точности выравнивания с человеческой оценкой на 4.76%, а на BigCodeBench это значение составило 10.52%. Эти результаты показывают, что предлагаемый фреймворк более точно отражает человеческий взгляд на успешность выполнения задачи. Кроме того, эксперименты показали, что фреймворк успешно оценивает пошаговое выполнение задач, обеспечивая более глубокий анализ по сравнению с традиционными подходами, которые ограничены оценкой только финальных результатов. # ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый фреймворк имеет широкие практические применения в различных областях, где требуется оценка агентских решений. Он может быть использован в таких сферах, как автоматизация бизнес-процессов, медицинская диагностика, финансовые прогнозы и другие области, требующие высокого уровня точности и прозрачности принятия решений. Основным преимуществом фреймворка является его универсальность и модульность, которые позволяют применять его в различных доменах без существенных изменений. Благодаря этому, он может стать ключевым инструментом для повышения надежности и эффективности агентских систем. # ВЫВОДЫ И ПЕРСПЕКТИВЫ Auto-Eval Judge представляет собой важный шаг к созданию универсального фреймворка для оценки задач, выполняемых агентами. Благодаря его модульной структуре и пошаговому подходу к оценке, он обеспечивает более точную и человечески подобную оценку, независимо от домена задачи. В будущем, этот фреймворк может быть расширен для включения дополнительных модулей, ориентированных на конкретные домены, а также для интеграции с более новыми моделями и методами обработки данных. Это открывает пути для дальнейшего улучшения точности и гибкости системы, что делает его перспективным инструментом для развития агентских технологий.