SWE-Effi: Re-Evaluating Software AI Agent System Effectiveness Under Resource Constraints

## Контекст Ускорение развития больших языковых моделей (LLM) и кодовых агентов (code agents) показало значительный потенциал в помощи при решении задач в области программного обеспечения (SWE), таких как устранение проблем и добавление функций. Несмотря на эти улучшения, существующие лидербеды в области AI for Software Engineering (например, SWE-bench) ориентированы только на точность решения, не учитывая важность эффективности в условиях ограниченных ресурсов. Это проблема широко распространенная не только в сфере программного обеспечения, но и в других областях, где актуально учитывать не только точность решения, но и стоимость его достижения. Наша цель — разработать новый подход для оценки эффективности AI-систем, учитывая как точность решения, так и стоимость ресурсов, требуемых для этого. ## Метод Мы предлагаем SWE-Effi — новую многомерную метрику для оценки эффективности AI-систем в области программного обеспечения. Метрика SWE-Effi принимает во внимание не только точность решения, но и эффективность в использовании ресурсов, таких как токены и время. Мы определяем эффективность как баланс между точностью решения задач (например, процент успешно решенных проблем) и затратами ресурсов. Для применения этого подхода, мы воспользовались подмножеством SWE-bench для реинтерпретации результатов популярных AI-систем по принципу точности и эффективности. Эксперименты проводились с использованием предварительно обученных моделей и реалистичных наборов данных. ## Результаты Наши эксперименты показали, что эффективность AI-систем зависит не только от самой модели, но также от ее интеграции с базовыми моделями. Мы обнаружили, что некоторые системы демонстрируют высокую точность решений, но используют так много ресурсов, что становятся не эффективными в условиях ограниченных ресурсов. Также мы обнаружили "системные вызовы", такие как "token snowball effect" (токенная снежная сфера), когда AI-системы растут в размере и стоимости работы, не достигая цели. Также выявлено "проблему дорогостоящих ошибок", когда системы уходят в "бесконечный цикл" при попытке решить неразрешимую задачу, что приводит к потере ресурсов в ходе обучения с подкреплением (RL). Наконец, мы отметили значительный трейд-офф между эффективностью под лимитом токенов и под лимитом времени, что важно для управления проектными бюджетами и распределения ресурсов в сценариях реального времени. ## Значимость Метод SWE-Effi может быть применен в различных областях, где требуется эффективность AI-систем, включая не только программное обеспечение, но и медицину, финансы и другие. Наши результаты показывают, что эффективный выбор и и