Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence

Опубликовано ## Контекст Крупномасштабные языковые модели (LLMs) воздействуют на многие аспекты безопасности информационных систем, в том числе и на обеспечение кибербезопасности. Одним из ключевых применений LLMs является поддержка кибер-треат-интеллектуалы (CTI), обеспечивая аналитикам информацию для эффективного мониторинга, анализа и реагирования на киберугрозы. Хотя LLMs демонстрируют высокую эффективность в различных задачах CTI, таких как распознавание угроз, детекция уязвимостей и защита от вторжений, на практике существуют значительные проблемы, связанные с их способностью обеспечивать качественную поддержку CTI. Эти проблемы могут быть вызваны не только ограничениями модели, но и характером проблемы CTI в самом деле. В настоящей работе мы рассматриваем эти проблемы, анализируя их причины в контексте современной безопасности информационных систем. ## Метод Для изучения проблем LLMs в CTI, мы применяем многоуровневое экспериментальное описание, основываясь на широком спектре CTI-бенчмаров и реальных угроз. Методология основывается на трех основных компонентах: стратификации, авторегрессионного уточнения и вклада человека в процесс уточнения и анализа ошибок LLMs. Данные для экспериментов были получены из различных источников, включая базы данных угроз и отчеты о реальных атаках. Мы разработали методы для глубокого понимания ошибок LLMs в сфере CTI, которые могут быть вызваны спуриорными корреляциями, противоречивыми знаниями и ограниченной общностью. ## Результаты В результате экспериментов мы выявили три главных причины, почему LLMs в CTI не всегда демонстрируют ожидаемую эффективность: 1. **Спуриорные корреляции** (spurious correlations) — модели часто опираются на недля задачи значимые факторы, что приводит к неточности вывода; 2. **Противоречивые знания** (contradictory knowledge) — содержание ответов LLMs может конфликтовать с другими частями знаний, которые они признали; 3. **Ограниченная общность** (constrained generalization) — по мере увеличения степени абстракции вопросов, LLMs не всегда могут предоставить точные ответы, отображающие новые сценарии. Эти ошибки были подробно изучены с помощью человеком-в-цикле (human-in-the-loop), что позволило доказать их реальность и влияние на реальные задачи CTI. ## Значимость Полученные результаты имеют большое значение для области безопасности информационных систем и практического применения LLMs в CTI. Мы продемонстрировали, что существуют серьезные узкие места в LLMs, ограничивающие их применение в CTI. Известные проблемы, такие как недостаточное учетвование контекста и ложные выводы, могут повлиять на