Fine-Tuning LLMs to Analyze Multiple Dimensions of Code Review: A Maximum Entropy Regulated Long Chain-of-Thought Approach

#### Область применения В статье предлагается MelcotCR, метод для оптимизации ларж-лангуэдж моделей (LLMs) для анализа нескольких аспектов кода в процессе кода ревью. Метод использует методы цепи мыслей (chain-of-thought, COT), с помощью которых модели способны предоставлять выверенные и структурированные ответы. Этот подход вносит большой вклад в автоматизацию кода ревью, что делает его ценным для разработчиков программного обеспечения и команд технического контроля. Метод может использоваться для улучшения качества кода, ускорения процесса проверки и уменьшения человеческого участия в рутинных задачах. #### Значимость MelcotCR показывает серьезный потенциал в автоматизации кода ревью. Он может повысить точность обнаружения ошибок и описание проблем, а также уменьшить время, затрачиваемое на ревью. Достигнутые результаты демонстрируют, что низкопараметрическая модель может выдавать результаты, которые почти вписываются в рамки результатов высокопараметрических моделей. Это решение может быть применено в сфере развития программного обеспечения, в частности, в процессах CI/CD, а также в широких областях, где необходимо автоматизировать процессы управления качеством. #### Результаты В ходе исследования проводились эксперименты на двух датасетах: MelcotCR и CodeReviewer. Метод MelcotCR показал выдающиеся результаты в задаче обнаружения и описания ошибок в коде. Низкопараметрическая модель, оптимизированная методом MelcotCR, показала результаты, сопоставимые с результатами модели DeepSeek-R1, известной за высокую точность. Эта конкурентность достигнута благодаря новой регуляции логики мыслей, которая уменьшает риск потери контекста и улучшает четкость логики. #### Метод MelcotCR основывается на цепи мыслей (COT), но добавляет новую регуляцию с помощью принципа максимальной энтропии (ME). Это позволяет модели повысить логическую связность и уменьшить потери контекста при обработке длинных COT-проволок. Метод предоставляет структуру для длинных запросов, чтобы улучшить интерпретацию и вывод модели. Архитектура предлагает новое решение для обеспечения высокого качества кода ревью с меньшим количеством параметров, чем в предыдущих методах. #### Контекст Ларж-лангуэдж модели (LLMs) становятся все более популярными в разработке программного обеспечения, особенно в области кода ревью. Однако они страдают от ограничений в контекстном понимании и логическом выводе, когда они работают с кодом. Это связано с ограниченным финетюнингом, который обычно ограничивается одним аспектом проблемы. Эта статья рассматривает проблему и предлагает новый подход, который обеспечивает LLMs более широ