WALL: A Web Application for Automated Quality Assurance using Large Language Models

#### Контекст Современные программные проекты становятся все более сложными, что приводит к увеличению числа и разнообразию проблем в кодовых файлах. Это создает необходимость в эффективных инструментах для выявления, устранения и оценки проблем. Избыток работы, связанный с ручным мониторингом и редактированием кода, не только увеличивает время разработки, но и увеличивает риск ошибок. Задача автоматизации этих процессов становится ключевой для повышения производительности и качества разработки. #### Метод WALL — это веб-приложение, которое интегрирует SonarQube и Большие языковые модели (LLMs), такие как GPT-3.5 Turbo и GPT-4o, для автоматизации процессов анализа и редактирования кода. Оно состоит из трех модулей: инструмента для извлечения проблем (issue extraction tool), кода для повторного редактирования (code issues reviser) и сравнения кода (code comparison tool). WALL предлагает полный цикл работы: выявление проблем, генерация автоматических предложений для их исправления, а также оценку точности этих исправлений. Методология основывается на взаимодействии между традиционными методами анализа кода и новыми возможностями LLMs, чтобы обеспечить точность и эффективность. #### Результаты Исследования проводились на 563 файлах кода с более чем 7599 проблемами. Эксперименты показали, что WALL способен эффективно выявлять и решать проблемы, уменьшая необходимое время для ручного мониторинга и редактирования. Использование смешанного подхода, включающего как более дорогие, так и более простые LLMs, позволило снизить затраты на разработку, одновременно повысив точность и скорость редактирования. Эксперименты демонстрируют, что WALL может существенно повысить производительность разработки, особенно при обработке больших наборов данных. #### Значимость WALL может применяться в различных областях, где количество и сложность кода являются ключевыми факторами. Он позволяет уменьшить число ошибок, улучшить скорость разработки и снизить риск человеческой ошибки. Одним из основных преимуществ является снижение затрат на ручное мониторинго и улучшение качества редактирования. Это приложение может стать важной частью инструментария для автоматического управления качеством кода, что в будущем может привести к полной автоматизации этого процесса. #### Выводы WALL доказал свою эффективность в автоматизации процессов выявления и редактирования проблем в коде. Однако, существуют лимиты, связанные с необходимостью человеческого участия в некоторых этапах процесса. На будущее, авторы планируют расширить возможности WALL, включив в него более продвинутые и открытые LLMs, а также работать над полной устранением необходимости человеческого вмешательства. Это