DeputyDev -- AI Powered Developer Assistant: Breaking the Code Review Logjam through Contextual AI to Boost Developer Productivity

2508.09676v1 cs.SE, cs.LG 2025-08-15
Авторы:

Vishal Khare, Vijay Saini, Deepak Sharma, Anand Kumar, Ankit Rana, Anshul Yadav

Резюме на русском

#### Контекст Код ревью является критическим этапом в процессе разработки программного обеспечения, но часто становится причиной серьёзных задержек. Он требует много времени и усилий, а своевременность и качество обратной связи часто не удовлетворяют ожиданиями. Это приводит к энергозатратным интерпретациям, перерывам в работе и негативному воздействию на качество кода. Например, в TATA 1mg обнаружилось, что среднее время для выполнения кода принимается 73 часов, а ревью занимает ещё 82 часов, что составляет за весь цикл 6,2 дня. Такие задержки влияют на эффективность разработки и часто становятся причиной возникновения автоматического качества. #### Метод DeputyDev — это AI-powered developer assistant, разработанный для автоматизации и контекстуализации процесса код ревью. Он использует машинное обучение, чтобы предоставлять контекстуальные замечания и рекомендации во время ревью. Методология включала выбор набора данных с примерами кода, оценку модели на основе реальных контекстов разработки и адаптацию модели для оптимального процесса ревью. Технический подход включал построение модели с использованием предварительно обученных словарей, а также интеграцию с существующим CI/CD-пайплайном. Это обеспечивало реагирование на конкретные части кода и улучшение релевантности рекомендаций. #### Результаты В ходе экспериментов было проведено тщательное двойное A/B-исследование, в котором участвовало более 200 разработчиков. Результаты показали, что DeputyDev существенно сократил время проведения кода ревью. Средний контрольный цикл кода ревью уменьшился на 23,09%, а время редактирования на 40,13% на одной строке кода. Эти результаты были достигнуты благодаря кросс-валидации и уточнению модели, которая учитывала локальные характеристики кода и контекстуальные особенности. #### Значимость DeputyDev предоставляет значительные преимущества в улучшении рабочего процесса разработки. Помимо сокращения времени ревью, он повышает точность и качество комментариев, что приводит к улучшению качества кода и быстродействию. Это инструмент может быть использован в различных областях, таких как SaaS, DevOps и традиционное программирование. Его можно использовать для уменьшения задержек в разработке, повышения продуктивности разработчиков и гарантии высокого качества кода. #### Выводы DeputyDev доказал свою эффективность в уменьшении времени кода ревью и улучшении качества разработки. Это мощный инструмент для автоматизации и улучшения процесса кода ревью, что возможно поддерживать его в разных DevOps-процессах. Будущие исследования будут ориентированы на расширение возможностей системы, включая усовершенствование модели ма

Abstract

This study investigates the implementation and efficacy of DeputyDev, an AI-powered code review assistant developed to address inefficiencies in the software development process. The process of code review is highly inefficient for several reasons, such as it being a time-consuming process, inconsistent feedback, and review quality not being at par most of the time. Using our telemetry data, we observed that at TATA 1mg, pull request (PR) processing exhibits significant inefficiencies, with average pick-up and review times of 73 and 82 hours, respectively, resulting in a 6.2 day closure cycle. The review cycle was marked by prolonged iterative communication between the reviewing and submitting parties. Research from the University of California, Irvine indicates that interruptions can lead to an average of 23 minutes of lost focus, critically affecting code quality and timely delivery. To address these challenges, we developed DeputyDev's PR review capabilities by providing automated, contextual code reviews. We conducted a rigorous double-controlled A/B experiment involving over 200 engineers to evaluate DeputyDev's impact on review times. The results demonstrated a statistically significant reduction in both average per PR (23.09%) and average per-line-of-code (40.13%) review durations. After implementing safeguards to exclude outliers, DeputyDev has been effectively rolled out across the entire organisation. Additionally, it has been made available to external companies as a Software-as-a-Service (SaaS) solution, currently supporting the daily work of numerous engineering professionals. This study explores the implementation and effectiveness of AI-assisted code reviews in improving development workflow timelines and code.

Ссылки и действия