Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

## Контекст В последние годы хакерские атаки становятся всё более масштабными и сложными, вынуждая системы безопасности применять современные средства для профилактики и противодействия угрозам. Одним из ключевых вопросов является эффективность инструментов, позволяющих оперативно выявлять и устранять угрозы. Большинство нынешних систем сильно зависят от человеческого фактора или требуют ручного вмешательства, что замедляет процессы реагирования. Это влечёт за собой потери времени и ресурсов, что на самом деле может оказаться критично в условиях атаки. Проблема в том, что злоумышленники постоянно развивают новые методы атаки, при этом существующие системы зачастую не могут профилактически динамически адаптироваться к этим изменениям. Таким образом, требуется развитие методов, позволяющих автоматизировать и оптимизировать процессы поиска и устранения угроз. Ло LLM-Assisted Blue Teaming, либо поддержка киберсурождения через ларге лангуадж моделей (LLM), представляет собой ключевой подход, который может улучшить производительность и точность в процессе локализации и исправления угроз. ## Метод В статье представлен бенчмарк CyberTeam, разработанный для оценки и оптимизации ларге лангуадж моделей в процессе локализации угроз. Методология CyberTeam основывается на стандартизации процесса поиска угроз, превращая его в последовательность модульных шагов, каждый из которых соответствует конкретной задаче анализа или реагирования. Этот подход позволяет улучшить отказоустойчивость и гармонизировать процессы работы. Бенчмарк состоит из 30 задач, разделённых на 9 модулей, каждый из которых определяет специфический аспект анализа угроз. Это включает в себя такие задачи, как атрибуция угроз, анализ поведения системы, идентификация вредоносных действий, а также реагирование на инциденты. Модели LLM подходят для каждой задачи с помощью выполнения многократных модельных операций, организованных в логической последовательности. ## Результаты С помощью CyberTeam проведено сравнение нескольких LLM с основными цифровыми средствами безопасности. Оценивались показатели точности, скорости реакции и возможности автоматизации процессов. Результаты показали, что стандартизованный подход CyberTeam приводит к улучшению целостности и эффективности процессов поиска угроз в сравнении с открытыми и неструктурированными логиками работы. Кроме того, был определён показатель устойчивости моделей LLM к изменениям типов угроз, что демонстрирует их преимущество в динамических условиях. В целом, результаты показывают, что LLM могут значительно улучшить про