GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging

## Контекст В современном программном обеспечении, помимо основной разработки программного кода, крайне важно мочь использовать богатые ресурсы, такие как GitHub, для решения реальных проблем. Однако, существующие бенчмарки не уделяют достаточного внимания реальной рабочей области, в которой агенты должны решать задачи, вовлекающие целый цикл разработки. Эта ситуация создает пробел в развитии инструментов, которые могут анализировать и использовать код в реальных сценариях. Мы предлагаем GitTaskBench, новый бенчмарк, который стремится решить эту проблему, оценивая возможности агентов по работе с реальными репозиториями для решения сложных задач. ## Метод GitTaskBench состоит из 54 задач, разделенных на 7 модальностей и 7 тематических областей. Каждая задача включает в себя репозиторий с кодом и автоматизированное оценочное тестирование, определяющее успех по задаче. Мы также ввели метрику alpha-value, которая оценивает экономическую эффективность решения задачи в сочетании с успехом выполнения и затратами ресурсов. Эта метрика включает в себя успевшую выполненную работу, затраты на выполнение (в токенах) и средние зарплаты разработчиков. Мы выполнили эксперименты, используя три современных фреймворка для решения задач с различными моделями языковых моделей. ## Результаты Эксперименты показали, что даже самые удачные системы, такие как OpenHands+Claude 3.7, могут решить только 48.15% задач, а остальные 51.85% задач требуют большего внимания к деталям, таким как настройка среды и установка зависимостей. Мы провели анализ ошибок, определив, что более 50% ошибок связаны с этими небольшими, но критичными действиями, которые важны для успешного выполнения задачи. Эти результаты подчеркивают необходимость в развитии более глубокой рабочей модели и увеличении времени отклика. ## Значимость Помимо того, что GitTaskBench может использоваться для оценки возможностей агентов в решении реальных задач, он также может быть полезен для разработки новых методов, которые могут быть использованы в различных приложениях. Например, он может быть использован для улучшения рабочих процессов, увеличения точности решения задач и уменьшения времени разработки. Мы верим, что данный бенчмарк может способствовать развитию новых технологий, которые могут быть применены в настоящем. ## Выводы Мы представили GitTaskBench, новый бенчмарк для оценки возможностей решения реальных задач с использованием репозиториев кудавом кода. Мы показали, что данный бенчмарк может быть использован для тестирования и развития новых моделей, которые будут улучшать возможности решения задач в реальном мире. Мы определили некоторые затрудн