PerfBench: Can Agents Resolve Real-World Performance Bugs?

## Контекст Performance bugs — это проблемы в программном обеспечении, вызывающие ненужный увеличение затрат ресурсов, не приводящие к ошибкам в функциональной части. Они трудно выявить и исправить, так как не вызывают функциональных сбоев, но неэффективно используют ресурсы. Данные проблемы значительно влияют на производительность программ, но часто не получают должного внимания из-за нехитрости их выявления и устранения. Появление современных агентов в сфере программного обеспечения дало возможность автоматизировать обнаружение и исправление багов. Однако существующие бенчмарки ориентированы на функциональную корректность, не учитывая проблемы производительности. Необходимо создать бенчмарк, который бы позволил проверить способности агентов решать проблемы производительности. ## Метод Мы предлагаем PerfBench — новый бенчмарк, состоящий из 81 реальных проблем производительности, извлечённых из GitHub-репозиториев на .NET. Отличительной чертой PerfBench является то, что он использует новую оценочную систему, при которой агенты могут создавать свои собственные бенчмарки производительности. Результаты этих бенчмарков сравниваются с результатами, полученными с исправлениями, предложенными разработчиками. Каждая задача в PerfBench подтверждена экспертами, чтобы гарантировать её реальность и актуальность. В нашем бенчмарке используется новая методология, позволяющая лучше оценивать способности агентов к решению проблем производительности. Это позволяет создавать более точные оценки их показателей. ## Результаты Мы провели эксперименты с использованием PerfBench и сравнили результаты работы двух агентов: базового OpenHands и модифицированного OpenHands-Perf-Agent. Базовый агент показал низкую производительность, достигнув только 3% успеха. Модифицированный агент OpenHands-Perf-Agent, использующий производительность-ориентированные инструменты и инструкции, повысил процент успешных решений до 20%. Наши результаты показали, что агенты, имеющие доступ к конкретным инструментам и инструкциям, могут значительно повысить свою эффективность в решении проблем производительности. Однако существуют еще значительные возможности для улучшения. ## Значимость PerfBench может применяться в разработке инструментов для автоматизации обнаружения и исправления проблем производительности. Он предоставляет значительные преимущества перед существующими бенчмарками, поскольку ориентирован на реальные проблемы производительности. Мы показали, что агенты, обученные на нашем бенчмарке, могут значительно повысить производительность системы, что в будущем может привести к революции в области ав