CyberSOCEval: Benchmarking LLMs Capabilities for Malware Analysis and Threat Intelligence Reasoning

## Контекст Modern cybersecurity операции сталкиваются с значительными вызовами, включая поток безопасности, угроз и сигналов, а также неоднозначную бизнес-контексту. Эти задачи требуют продвинутых методов анализа и принятия решений. Большие языковые модели (LLMs) показали свою эффективность в многих областях, но их потенциал в сфере безопасности еще не полностью оценен. Существующие бенчмарки не полностью отражают сценарии, которые важны для реальных бизнес-ситуаций. Это создает проблемы для разработчиков, которые не могут определить направление их работы, и для пользователей, которые не могут выбрать наиболее эффективную модель. Без открытых бенчмарков невозможно строить надежные открытые решения, что дает преимущество злоумышленникам, которые уже используют AI в своих атаках. ## Метод CyberSOCEval — это новый набор бенчмарков в рамках CyberSecEval 4, определенный для оценки моделей LLMs в двух ключевых областях: анализе малвира (malware analysis) и рассуждении в области технического угрозного интеллекта (threat intelligence reasoning). Тестовые задачи включают поиск вредоносных файлов, идентификацию вредоносной активности и применение теории угроз. Методы оценки используют различные типы данных, включая метаданные файлов, логи и тексты. Архитектура бенчмарка основана на открытых стандартах, позволяющих легко добавлять новые задачи и модели. Это позволяет проводить сравнительные эксперименты и отслеживать улучшения моделей во времени. ## Результаты Выполнены эксперименты с основными моделями LLMs, включая предварительно обученные и модели на основе тестирования во время работы (test-time scaling). Большие модели показали значительные выигрыши в обеих областях, подтвердив парадокс тренировки (scaling laws). Однако рассуждение во время теста (test-time scaling) не дало таких выигрышей, как в задачах кодирования и математики, что указывает на недостаток в обучении моделей к работе с угрозами в сфере безопасности. Это открывает новый путь для развития моделей, ориентированных на cybersecurity. ## Значимость CyberSOCEval предоставляет открытый стандарт для оценки моделей LLMs в сфере безопасности, повышая прозрачность и доступность результатов. Он может быть применен в сферах от обучения новых моделей до развития новых бизнес-приложений. Особый польза открывается для команд SOC, которым требуется эффективная автоматизация безопасности. Эта работа также мотивирует разработчиков моделей направлять свои усилия на решение реальных проблем безопасности, воздействуя на сообщество как защитников, так и разработчиков. ## Выводы CyberSOCEval — это значительный шаг в создании открытых бенчмарков для LLMs в сфере безопасности