When Agents go Astray: Course-Correcting SWE Agents with PRMs

#################### ## Контекст #################### Подробное описание области исследования, существующих проблем и мотивации На данный момент, большинство Large Language Model (LLM) agent'ов используются для решения сложных задач в области software engineering (SWE). Однако, их работа часто характеризуется неэффективностью: повторные эксперименты, зацикливания и невозможность остановиться после достижения решения. Эти проблемы становятся еще более заметными при работе с задачами, требующими нескольких шагов. Попытки решения этой проблемы, в основном, ограничиваются пост-решательным анализом: проблемы выявляются только после завершения работы. Это приводит к потере времени и ресурсов, поскольку ошибки могут быть выявлены только после неудачного завершения задачи. Мы предлагаем SWE-PRM — модель PRM, работающую во время выполнения, которая вводится в конечный этап работы модели. PRM использует широкую категоризацию распространенных неэффективностей и предлагает способы их корректировки. Это решение позволяет предотвратить ошибки на ранней стадии и улучшить эффективность работы модели. #################### ## Метод #################### Детальное описание методологии, технических решений и архитектуры Мы представляем SWE-PRM, модель, которая работает во время выполнения и использует Process Reward Model (PRM) для мониторинга и корректировки траектории работы LLM agent'а в реальном времени. Ее основным элементом является таксономия распространенных неэффективностей, таких как зацикливание, ненужное исследование и невозможность остановиться после достижения решения. SWE-PRM использует данные, полученные на протяжении работы модели, и проверяет ее на соответствие установленным критериям. Если выявляются неэффективности, модель предлагает корректировки, которые могут включать изменение направления работы или остановку некоторых действий. Такой подход позволяет минимизировать потери времени и ресурсов, связанные с необходимостью запускать задачу заново. Кроме того, SWE-PRM предоставляет интерпретируемую обратную связь, которая может быть использована для дальнейшего понимания и улучшения моделей. #################### ## Результаты #################### Описание экспериментов, используемых данных и полученных результатов Мы проводили эксперименты на SWE-Bench Verified, используя закрытые системы PRM. Результаты показывают, что SWE-PRM улучшает результаты работы моделей: с 40.0% до 50.6% на задачах средней и трудной сложности. Это подтверждает эффективность PRM в предотвращении неэффективных действий и уменьшении требуемого времени. Мы также проверили различные стратегии обратной связи. Таксономические PRM вы mosterred the best performance, снизив стоимость выполнения задачи и увеличив успешность ра