LLM-GUARD: Large Language Model-Based Detection and Repair of Bugs and Security Vulnerabilities in C++ and Python

################################# ## Контекст ################################# Large Language Models (LLMs), такие как ChatGPT-4, Claude 3, и LLaMA 4, вошли в программное обеспечение и развитие приложений, помогая в задачах от генерирования кода до дебаггинга. Несмотря на их мощь, их эффективность в обнаружении разнообразных ошибок в коде, особенно тех, которые имеют отношение к безопасности, остается мало изученной. Данное исследование призвано оценить эффективность трех ведущих LLMs в детектировании и исправлении ошибок в коде на C++ и Python. Исследование основывается на реальных фрагментах кода из SEED Labs, OpenSSL, и PyBugHive, а также использует контекстно-адаптивные протоколы взаимодействия с моделями, чтобы скопировать реальные сценарии дебаггинга. ################################# ## Метод ################################# Методология основывается на нескольких этапах: набор данных, контекстно-адаптивное взаимодействие с моделями, и многомерная оценка результатов. Набор данных включает в себя 115 программных ошибок, созданных специально для экспериментов, которые охватывают синтаксические, семантические, и безопасности-связанные проблемы. Модели были оценивали в трех областях: детектировании ошибок, логической целостности, и рекомендации решений. Для каждого этапа использовались конкретные подходы: например, для детектирования ошибок - оперативное выделение проблемных участков кода; для логической целостности - проверка соответствия решений поставленным целям. ################################# ## Результаты ################################# Результаты показали, что все три модели определяют синтаксические и семантические ошибки с высокой точностью, делая их полезными для образовательных целей и первоначальных анализов кода. Однако их эффективность снижается при работе с более сложными безопасности-связанными ошибками и большими кодовыми базами. ChatGPT-4 и Claude 3 оказались более устойчивыми в сценариях, требующих глубокого контекстного понимания, чем LLaMA 4. Это подтверждает их потенциал для автоматизированных систем код-ревью, но также выделяет ограничения в сфере безопасности. ################################# ## Значимость ################################# Результаты имеют практическое значение для развития систем автоматизированного контроля качества кода, которые могут использовать LLMs для первоначального скрининга. Они также подчеркивают возможность LLMs в области образования, помогая учащимся понять принципы безопасного программирования. Несмотря на это, ограничения LLMs в сфере безопасности должны быть рассмотрены, когда эти модели применяются в критически важных системах. ################################# ## Выводы ################################# Ларже Лангуэдж Моделс оказались эффективными для детектирования базовых ошибок в коде, но их применение в сфере безопасности требует дополнительных и