SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?

## Контекст Информационные технологии становятся все более важной частью современной экономики, а среди них автоматизация процессов разработки программного обеспечения (СЕ) приобретает все большее значение. Однако далеко не все задачи в СЕ могут быть автоматизированы с помощью нынешних моделей машинного обучения. Особенно сложной является задача поиска решений для долгосрочных задач в разработке программного обеспечения, требующих многочасовых работ профессионального разработчика. Эта сложность возникает из-за недостатка достаточного контекста, реалистичности и сложности задач, а также отсутствия тестов, которые могли бы сравнить модели в этих условиях. Это движет мотивацией к созданию SWE-Bench Pro — бенчмарка, предназначенного для того, чтобы выявить слабые места у нынешних агентов для решения долгосрочных задач в области СЕ. ## Метод SWE-Bench Pro является расширенной версией SWE-Bench, специально разработанной для решения долгосрочных задач в области СЕ. Он содержит 1865 задач, собранных из 41 репозиториев, включая бизнес-приложения, B2B-сервисы и инструменты разработчиков. Бенчмарк поделен на три части: публичный набор (11 репозиториев), закрытый набор для тестирования (12 репозиториев) и коммерческий набор, содержащий задачи из 18 репозиториев, с которыми у авторов есть партнерские соглашения. Задачи включают набор действий, которые могут требовать часов или дней работы профессионального разработчика, включая поиск и исправление ошибок в нескольких файлах. Для каждой задачи был проведен тщательный human-verified процесс, чтобы гарантировать решаемость и контекстность. Это позволяет SWE-Bench Pro представлять реальную сложность реального программирования на профессиональном уровне. ## Результаты В ходе экспериментов были рассмотрены широко известные модели кодирования в рамках SWE-Bench Pro. Полученные результаты показали, что выполнение задач на этом бенчмарке остается низким — ни одна из тестируемых моделей не превышала 25% Pass@1. Модель GPT-5 показала наилучший результат с уровнем 23.3%. Были проанализированы кластеры ошибок, полученных в результате работы моделей, что позволило выделить основные недостатки, такие как неверное понимание контекста, неточности в оценке задач и несостоятельность решений в долгосрочных сценариях. Таким образом, SWE-Bench Pro выступает как честный тест для моделей, позволяя выявить ограничения нынешних моделей в решении долгосрочных задач в СЕ. ## Значимость SWE-Bench Pro представляет собой новый шаг в развитии бенчмарков для решения долгосрочных задач в СЕ. Он позволяет оценить не только точность решений, но и способность моделей понимать контекст, отслеживать задачи в процессе