Securing LLM-Generated Embedded Firmware through AI Agent-Driven Validation and Patching

## Контекст Large Language Models (LLMs), такие как GPT-4, могут значительно облегчить процесс генерации прошивок для устройств с микроконтроллерами, таких как FreeRTOS. Однако, несмотря на высокую степень автоматизации, они часто пропускают критические уязвимости и не соответствуют функциональным требованиям, таким как минимальные временные задержки. Это приводит к риску внедрения потенциально вредоносных кодав в системы, которые могут быть использованы для угроз безопасности. Недостаток интегрированных методов для моделирования времени выполнения и анализа возможных уязвимостей делает такие системы неудовлетворительными для использования в критичных приложениях, таких как технологии беспилотных систем и системы управления производством. Таким образом, имеется потребность в разработке методологии, которая не только сможет генерировать прошивки, но и автоматически проверять их на наличие уязвимостей, а также улучшать их до нужного уровня безопасности. ## Метод Метод, предлагаемый в работе, включает в себя три этапа: 1) генерация прошивки с использованием LLMs в виртуальной среде, 2) автоматическая проверка безопасности и 3) итеративное улучшение прошивки. Для генерации прошивки авторы используют структурированные запросы (промпты), которые позволяют LLMs генерировать код для задач в области сетевого взаимодействия и управления FreeRTOS. Этот процесс включает в себя не только генерацию кода, но и выполнение функции в симуляторе QEMU. Для проверки безопасности были использованы методы, такие как fuzzing, static analysis и runtime monitoring. Чтобы улучшать безопасность, авторы использовали нейросетевые модели, которые могут анализировать возможные угрозы, оптимизировать производительность и проверять соответствие стандартам. Уязвимости, выявленные в процессе, относят к стандартному справочнику CWE (Common Weakness Enumeration) и используются для стимулирования LLM-программы, которая генерирует патчи для устранения данных уязвимостей. ## Результаты В ходе экспериментов была проведена ряд тестов, включая fuzzing, static analysis и runtime monitoring. Было выявлено, что LLM-based methodology позволяет значительно улучшить безопасность прошивок, снизив количество уязвимостей на 92.4% (с 37.3% до 0.87). Также была достигнута 95.8% соответствия требованиям threat model. Отметим, что лучший результат был получен при использовании GPT-4, который показал значительное улучшение уровня безопасности и производительности. Была также проверена реакция FreeRTOS на внедренные уязвимости, и были получены результаты в рамках требуемых показателей реактивности. ## Значимость Методология, предложенная в ра