From Benchmark Data To Applicable Program Repair: An Experience Report

## Контекст Область исследования — автоматизированное исправление программных ошибок (program repair). Существующие проблемы включают ограниченную эффективность существующих методов в решении реальных проблем, связанных с ошибками в программном обеспечении. Известно, что многие существующие методы программного ремонта опираются на тестовые данные, которые могут быть недостаточно устойчивыми для решения реальных проблем. Например, тесты, ориентированные на стандартных бенчмарках, могут не содержать достаточного числа edge cases и не учитывать специфику реальных систем. Мотивация заключается в разработке эффективных методов автоматизированного исправления кода, которые могут быть использованы в промышленных условиях, а не только для академических задач. ## Метод Методология основывается на сочетании нескольких техник из литературы, включая генерацию тестов и исправление кода с использованием LLMs (Large Language Models). Формальные спецификации, такие как JML (Java Modeling Language), используются для уточнения требований к коду и повышения качества тестов. Архитектура решения включает в себя компоненты для генерации тестовых сценариев, анализа кода и оценки качества исправлений. Особое внимание уделяется тестированию на edge cases и exception handling, так как эти аспекты часто отсутствуют в стандартных тестах. ## Результаты В ходе экспериментов были применены методы автоматизированного исправления на различных бенчмарках, включая стандартные наборы данных, такие как Defects4J. На этих наборах данных показано, что использование формальных спецификаций добавляет качеству тестов, особенно для логических и строковых ошибок. Тем не менее, на реальных ошибках, встречающихся в промышленных условиях, эффективность такого подхода оказалась ниже, чем на бенчмарках. Также было выявлено, что прохождение тестов не гарантирует корректность исправлений, что ограничивает эффективность этого подхода в реальной практике. ## Значимость Полученные результаты могут быть применимы в следующих областях: 1. Автоматизированное исправление ошибок в коде, особенно для сложной промышленной программы. 2. Повышение качества тестов, в том числе для edge cases и exception handling, что может существенно повысить надеждость программ. 3. Исследование и интеграция новых технологий, таких как contract automata и programming by example, для улучшения процесса исправления кода. Преимущества: повышение качества тестов и повышение уровня автоматизации в процессе исправления программных ошибок. Ограничения: недостаточное выражаемость JML-спецификаций и недостаточная гарантия корректности исправлений в реальных условиях. ## Выводы Статья показывает, что текущие под