An Empirical Study on Failures in Automated Issue Solving

#### Контекст Автоматическое решение проблем в кодировании (Automated Issue Solving, AIS) является важной задачей в развитии интеллектуальных систем. Она заключается в поиске и исправлении дефектов в коде, находящихся в разных частях кодовой базы. Несмотря на то, что нейросетевые модели, основанные на трансформерах, достигли значительных успехов в этой области, они все еще сталкиваются с значительными неудачами. Одной из наиболее актуальных задач является повышение точности и устойчивости таких систем. Одна из наиболее популярных систем для испытаний и сравнения новых методов является SWE-Bench, широко признанная в сообществе. Однако существующие оценки показывают, что даже эти системы не могут решить большую часть задач, что ограничивает их применение в реальных проектах. Целью данного исследования является повышение понимания основных причин неудач в автоматизированном решении проблем, чтобы можно было выявить слабые места и сформировать направления для будущих улучшений. #### Метод Мы проводили исследование, основываясь на трех лидирующих решениях в области автоматического решения проблем, разнообразных по архитектуре и подходу. Это включило и пайплайн-подобные архитектуры, и agentic-подобные архитектуры. Мы провели эксперименты на основе SWE-Bench-Verified, который представляет собой стандартный бенчмарк для оценки систем AIS. Для каждой системы были измерены значения точности и эффективности в зависимости от различных характеристик задач. Для получения более глубокого понимания ошибок и диагностики слабых мест в системах, мы провели тщательный ручной анализ 150 неудачных случаев. Этот анализ позволил нам сформировать детальную категоризацию ошибок, включающую в себя три основных фазы, 9 главных категорий и 25 подкатегорий. Это позволило выявить основные причины неудач и формировать набор "печатных пальцев" ошибок, отличающих разные архитектуры. #### Результаты Наши эксперименты показали, что существует значительное различие в производительности систем в зависимости от характеристик задач. Например, agentic-системы оказались менее резистентными к некоторым типам ошибок, чем pipeline-системы. Мы также выявили, что главная причина неудач в agentic-системах заключается в подверженности неверному выводу рассуждений (flawed reasoning) и вхождении в "когнитивные застои" (cognitive deadlocks). Эти типы ошибок не позволяют системе выйти из логического затухания, что приводит к неудачам в решении задач. Общая точность систем, улучшенных с помощью нашего нового подхода, Expert-Executor, выmostилась на 22.2% выше, чем у лучшего отдельного агента. Это указывает на то, что система может б