OmniLLP: Enhancing LLM-based Log Level Prediction with Context-Aware Retrieval

## Контекст Современные программные системы используют журналирование (logging) для регистрации сведений о работе приложений во время выполнения. Это способствует улучшению обслуживания, отладке и мониторингу программных продуктов. Однако выбор уровня журналирования (log level) является одной из самых сложных задач при разработке, так как влияет на производительность и наблюдаемость системы. Решение этой проблемы часто требует значительных усилий разработчиков. В последние годы появились машинное обучение (ML) и трансформационные языковые модели (LLMs) для автоматизации выбора уровня журналирования. Несмотря на позитивные результаты, эти модели используют рандомизированные контекстные примеры, не учитывая структуры и разнообразие практик журналирования в развитых программных проектах. Мы предлагаем OmniLLP — расширенную модель LLPs, которая учитывает контекст семантики и собственности разработчиков, чтобы улучшить точность прогноза уровня журналирования. ## Метод OmniLLP основывается на кластеризации файлов исходного кода на основе двух признаков: (1) семантической схожести, отражающей функциональную цель кода, и (2) собственности разработчиков, касающейся их участия в разработке конкретных файлов. Для выбора контекста в ходе прогнозирования мы используем семантические кластеры, структурируемые по семантическим признакам, и собственностные кластеры, определяемые совместным участием разработчиков. Эти кластеры обеспечивают более контекстуально подходящие примеры для ввода в LLM, увеличивая точность прогноза уровня журналирования. Мы реализовали нашу модель на основе трансформационных моделей LLMs и создали метрики для оценки её эффективности. ## Результаты Мы провели эксперименты с OmniLLP на нескольких проектах с открытым исходным кодом, оценивая её производительность сравнительно с базовой моделью LLPs. Наши результаты показали, что кластеризация по семантике и собственности приводит к дополнительному улучшению точности прогноза уровня журналирования на 8% AUC по сравнению с рандомизированными примерами в контексте. Комбинация семантической и собственностной кластеризации дала лучшие результаты — AUC от 0.88 до 0.96 на проектах, протестированных в рамках исследования. Эти результаты подтверждают то, что OmniLLP предоставляет более точное, контекстуально осмысленное прогнозирование уровня журналирования, что может существенно упростить обслуживание и мониторинг программных систем. ## Значимость OmniLLP может быть применена в различных областях, включая отладку, мониторинг и анализ производительности программных систем. Она предоставля