LibRec: Benchmarking Retrieval-Augmented LLMs for Library Migration Recommendations

## Контекст Проблема миграции либрарей, которая возникает при обновлении или замене используемых библиотек в программных проектах, является важной задачей в современном программировании. Традиционные подходы, опирающиеся на ручное анализирование кода и руководства, затратны в реализации и требуют существенных усилий. Автоматизированные системы, основанные на глубоком обучении, не всегда достаточно точны при рекомендации альтернативных библиотек. Наряду с этим, трудности в выделении и понимании намерений миграции в сообщениях комитов (commit messages) используются неэффективно. Для решения этих проблем, мы предлагаем LibRec — систему, которая использует технологии генеративных глубоко обученных моделей (LLMs) и техники генерации с учетом восстановления (retrieval-augmented generation, RAG) для автоматизации рекомендации альтернативных библиотек. ## Метод LibRec основывается на технологии взаимодействия глубоко обученных моделей (LLMs) и техник восстановления информации (RAG). Она включает несколько ключевых этапов: 1. **Выделение намерений миграции**: Мы используем LLM для анализа комитов, который извлекает намерения миграции из текста этих сообщений. 2. **Генерация рекомендаций**: Рекомендации генерируются с помощью технологии RAG, которая объединяет генеративные модели с мощным поиском информации. 3. **Обучение в контексте**: Мы применяем ин-контекстное обучение (in-context learning), чтобы улучшить точность рекомендаций, выделив наиболее подходящие примеры из заданной коллекции данных. 4. **Архитектура**: LibRec использует полностью стековую архитектуру, включающую модели представления языка, модели понимания контекста и модели генерации рекомендаций. ## Результаты Мы провели эксперименты с 10 популярными моделями глубокого обучения для оценки их эффективности в задаче рекомендации альтернативных библиотек. В ходе экспериментов мы использовали нашу библиотеку LibEval, состоящую из 2,888 миграционных записей, связанных с 2,368 библиотеками. Мы оценили качество рекомендаций, измерив точность, полноту и F1-меру. Наши результаты показали, что LibRec превосходит другие модели на 15-20% в показателях точности и полноты. Мы также провели анализ сбоев, чтобы идентифицировать узкие места в модели, и проанализировали влияние различных стратегий вывода (prompt engineering) на результаты. ## Значимость LibRec может быть применена в различных областях, включая автоматизацию поддержки кодов, анализ и улучшение производительности платформ, а также разработку новых инструментов для разработчиков. Наш подход обеспечивает более точные и эффективные рекомендации в сравнении с традиционными методами