Assessing the Quality and Security of AI-Generated Code: A Quantitative Analysis

## Контекст В последние годы широко распространены становятся технологии искусственного интеллекта (ИИ), которые найдены во многих сферах жизнедеятельности человека. Одним из важных направлений ИИ является автоматизированное создание кода с помощью Large Language Models (LLM). Эти модели позволяют значительно ускорить процесс программирования, однако возникают вопросы касательно качества и безопасности полученного кода. Несмотря на то, что LLM могут генерировать код, который выполняет заданные функции, неясно, насколько этот код качественный и безопасен. Это создает проблему для развития систем высокого качества, которые зависят от надежного и безопасного кода. Исследование направлено на оценку качества и безопасности кода, генерируемого LLM, чтобы определить преимущества и ограничения данных моделей. ## Метод Исследование основывается на компаративном анализе выходных данных пяти моделей LLM: Claude Sonnet 4, Claude 3.7 Sonnet, GPT-4o, Llama 3.2 90B и OpenCoder 8B. Для оценки качества и безопасности генерируемого кода были проведены тесты на 4,442 Java-заданиях с использованием статического анализатора SonarQube. SonarQube позволяет выявить различные проблемы кода, включая баги, системные уязвимости и код с медленным выполнением. Эксперименты были проведены на независимых выборках, чтобы убедиться в достоверности результатов. ## Результаты Результаты исследования показали, что все исследованные модели LLM способны генерировать функциональный код. Однако они также внедряют различные проблемы, такие как баги, уязвимости и неэффективный код. Легко выявить, что критические проблемы, такие как хардкодинг паролей и пути путей, возникали в нескольких моделях. Для оценки качества кода использовался показатель SonarQube, который выявил ошибки и уязвимости. Однако было обнаружено, что уровень функциональной силы, измеренный по скорости прохождения юнит-тестов, не является хорошим индикатором общего качества и безопасности кода. ## Значимость Результаты имеют значение для нескольких областей. Во-первых, они подчеркивают необходимость проведения статического анализа для выявления и исправления ошибок в LLM-generated code. Во-вторых, они поднимают вопросы о ценности функциональных показателей, таких как Pass@1, в качестве индикатора для общего качества кода. Открытиями данного исследования могут воспользоваться программисты, компании и исследователи, которые используют LLM для создания кода. Исследование также может способствовать развитию методов статического анализа для улучшения безопасности и качества ИИ-генерируемого кода. ## Выводы На основе исследования следует сделать следующие вы