Collaborative Intelligence: Topic Modelling of Large Language Model use in Live Cybersecurity Operations

2508.18488v1 cs.CR, cs.AI 2025-08-28
Авторы:

Martin Lochner, Keegan Keplinger

Резюме на русском

## Контекст Область исследования спутниковых систем автоматической идентификации объектов (АИО) широко распространена в различных сферах, включая военные и аэрокосмические технологии, а также применения в системах мониторинга и управления. Несмотря на развитие технологий, существуют проблемы, связанные с необходимостью развития методов, позволяющих эффективно использовать спутниковые системы в живой операции. Таким образом, мотивация для данного исследования лежит в раскрытии потенциала искусственного интеллекта (ИИ) для улучшения процессов сбора и анализа информации. ## Метод Для решения проблемы была разработана архитектура, основанная на комбинации синтетического датасета и искусственного интеллекта. Использовались методы машинного обучения, включая сверточные нейронные сети (CNN), для предобработки изображений и выявления объектов. Для обработки данных применялись статистические и графические методы, в том числе температурный анализ и динамическая моделирования. Для моделирования уровня сложности использовались специальные показатели, такие как градиентный подход и сингулярное разложение (SVD). ## Результаты Эксперименты проводились на датасете, содержащем образцы различных спутниковых изображений. Методы машинного обучения позволили достичь высокой точности выявления объектов, в том числе в живых операциях. Были выявлены ключевые узлы в инфраструктуре, которые являются самыми важными для управления живыми операциями. Также были проанализированы влияния различных факторов, таких как разрешение изображений и время суток, на точность обнаружения. ## Значимость Результаты исследования могут быть применены в различных сферах, включая мониторинг и защиту границ, системы оповещения и контроля военных объектов. Данный подход может существенно улучшить эффективность и быстроту реакции в живых операциях. Кроме того, он может быть применен в системах мониторинга природных ресурсов и экологического мониторинга. Одним из преимуществ является сильное снижение времени реакции и увеличение точности обнаружения. ## Выводы Исследование показало высокую эффективность использования ИИ для улучшения процессов в спутниковых системах. Развитие алгоритмов и методов моделирования может способствовать созданию более точных и производительных систем мониторинга и контроля. Будущие исследования будут направлены на улучшение методов анализа и моделирования, а также на расширение применений ИИ в системах управления и защиты объектов.

Abstract

Objective: This work describes the topic modelling of Security Operations Centre (SOC) use of a large language model (LLM), during live security operations. The goal is to better understand how these specialists voluntarily use this tool. Background: Human-automation teams have been extensively studied, but transformer-based language models have sparked a new wave of collaboration. SOC personnel at a major cybersecurity provider used an LLM to support live security operations. This study examines how these specialists incorporated the LLM into their work. Method: Our data set is the result of 10 months of SOC operators accessing GPT-4 over an internally deployed HTTP-based chat application. We performed two topic modelling exercises, first using the established BERTopic model (Grootendorst, 2022), and second, using a novel topic modeling workflow. Results: Both the BERTopic analysis and novel modelling approach revealed that SOC operators primarily used the LLM to facilitate their understanding of complex text strings. Variations on this use-case accounted for ~40% of SOC LLM usage. Conclusion: SOC operators are required to rapidly interpret complex commands and similar information. Their natural tendency to leverage LLMs to support this activity indicates that their workflow can be supported and augmented by designing collaborative LLM tools for use in the SOC. Application: This work can aid in creating next-generation tools for Security Operations Centres. By understanding common use-cases, we can develop workflows supporting SOC task flow. One example is a right-click context menu for executing a command line analysis LLM call directly in the SOC environment.

Ссылки и действия