Next Edit Prediction: Learning to Predict Code Edits from Context and Interaction History

## Контекст Прогресс в области бо LARGE LANGUAGE MODELS (LLMs) положил начало новому поколению AI-powered coding assistants, которые внедрены в среды разработки. Однако существуют два основных подхода, которые, несмотря на свои преимущества, обладают ограничениями. Лот-латентность комплитиона (code completion) ограничивается контекстом текущего положения курсора, что делает его неэффективным для выполнения комплексных модификаций. Напротив, chat-based editing способен выполнять интенсивные модификации, но требует от разработчика прерывать свою работу, описывать намерение в естественном языке, что приводит к контекстному переключению и логическому разрыву. В результате, ни один из этих подходов не предлагает проактивного предсказания следующего шага разработчика в последовательности связанных работ. Для решения этой проблемы и введения более интерактивного подхода предлагается задача **Next Edit Prediction**, которая предназначена для прогнозирования следующей редакции кода на основе последних действий разработчика. ## Метод Для реализации задачи Next Edit Prediction была разработана методология, основанная на сборе и подготовке высококачественной данной для fine-tuning. Использовался машинное обучение с учителем (supervised learning) для обучения моделей, которые учитывают историю взаимодействия разработчика. Архитектура моделей включала в себя различные модели, такие как стандартные преобразовательные модели (transformers) и дополнительные модификации, специально разработанные для задачи. Данные для обучения были сформированы на основе реальных интеракций разработчиков, чтобы обеспечить реалистичность и актуальность прогнозируемых редакций. Этот подход имитирует реальность разработки и позволяет модели выучивать контекстные зависимости и структуры кода. ## Результаты В ходе экспериментов были проведены сравнительные оценки различных моделей, включая основные предложенные в работе, а также базовые модели для сравнения. Были измерены функции качества, такие как точность предсказания, предложенное решение взаимодействия, и скорость выполнения. Были получены результаты, показавшие значительные улучшения в точности и скорости прогнозирования следующих редакций в сравнении с базовыми моделями. Были сгенерированы визуализации, демонстрирующие то, как модель предсказывает следующие редакции, исходя из истории взаимодействий разработчика. Эти результаты указывают на высокую точность и эффективность моделей в решении задачи Next Edit Prediction. ## Значимость Предложенная модель имеет большое значение для развития AI-powered coding assistants, так как она делает инструменты более прогнозируемыми и интерактивными. Модель может быть применена в различных сценариях, таких как локальное разработческое окружение, обла