Collaborative Intelligence: Topic Modelling of Large Language Model use in Live Cybersecurity Operations
2508.18488v1
cs.CR, cs.AI
2025-08-28
Авторы:
Martin Lochner, Keegan Keplinger
Резюме на русском
## Контекст
Область исследования спутниковых систем автоматической идентификации объектов (АИО) широко распространена в различных сферах, включая военные и аэрокосмические технологии, а также применения в системах мониторинга и управления. Несмотря на развитие технологий, существуют проблемы, связанные с необходимостью развития методов, позволяющих эффективно использовать спутниковые системы в живой операции. Таким образом, мотивация для данного исследования лежит в раскрытии потенциала искусственного интеллекта (ИИ) для улучшения процессов сбора и анализа информации.
## Метод
Для решения проблемы была разработана архитектура, основанная на комбинации синтетического датасета и искусственного интеллекта. Использовались методы машинного обучения, включая сверточные нейронные сети (CNN), для предобработки изображений и выявления объектов. Для обработки данных применялись статистические и графические методы, в том числе температурный анализ и динамическая моделирования. Для моделирования уровня сложности использовались специальные показатели, такие как градиентный подход и сингулярное разложение (SVD).
## Результаты
Эксперименты проводились на датасете, содержащем образцы различных спутниковых изображений. Методы машинного обучения позволили достичь высокой точности выявления объектов, в том числе в живых операциях. Были выявлены ключевые узлы в инфраструктуре, которые являются самыми важными для управления живыми операциями. Также были проанализированы влияния различных факторов, таких как разрешение изображений и время суток, на точность обнаружения.
## Значимость
Результаты исследования могут быть применены в различных сферах, включая мониторинг и защиту границ, системы оповещения и контроля военных объектов. Данный подход может существенно улучшить эффективность и быстроту реакции в живых операциях. Кроме того, он может быть применен в системах мониторинга природных ресурсов и экологического мониторинга. Одним из преимуществ является сильное снижение времени реакции и увеличение точности обнаружения.
## Выводы
Исследование показало высокую эффективность использования ИИ для улучшения процессов в спутниковых системах. Развитие алгоритмов и методов моделирования может способствовать созданию более точных и производительных систем мониторинга и контроля. Будущие исследования будут направлены на улучшение методов анализа и моделирования, а также на расширение применений ИИ в системах управления и защиты объектов.
Abstract
Objective: This work describes the topic modelling of Security Operations
Centre (SOC) use of a large language model (LLM), during live security
operations. The goal is to better understand how these specialists voluntarily
use this tool.
Background: Human-automation teams have been extensively studied, but
transformer-based language models have sparked a new wave of collaboration. SOC
personnel at a major cybersecurity provider used an LLM to support live
security operations. This study examines how these specialists incorporated the
LLM into their work.
Method: Our data set is the result of 10 months of SOC operators accessing
GPT-4 over an internally deployed HTTP-based chat application. We performed two
topic modelling exercises, first using the established BERTopic model
(Grootendorst, 2022), and second, using a novel topic modeling workflow.
Results: Both the BERTopic analysis and novel modelling approach revealed
that SOC operators primarily used the LLM to facilitate their understanding of
complex text strings. Variations on this use-case accounted for ~40% of SOC LLM
usage.
Conclusion: SOC operators are required to rapidly interpret complex commands
and similar information. Their natural tendency to leverage LLMs to support
this activity indicates that their workflow can be supported and augmented by
designing collaborative LLM tools for use in the SOC.
Application: This work can aid in creating next-generation tools for Security
Operations Centres. By understanding common use-cases, we can develop workflows
supporting SOC task flow. One example is a right-click context menu for
executing a command line analysis LLM call directly in the SOC environment.
Ссылки и действия
Дополнительные ресурсы: