An Ethically Grounded LLM-Based Approach to Insider Threat Synthesis and Detection
2509.06920v1
cs.CR, cs.AI, cs.CL, cs.CY, C.2.0; I.2.7; K.4.1; H.3.3
2025-09-10
Авторы:
Haywood Gelman, John D. Hastings, David Kenley
Резюме на русском
#### Контекст
Обнаружение инсайдерских угроз является важной проблемой для организаций, так как эти угрозы часто основываются на технических и поведенческих элементах, которые сложно выявить. Достаточно большой объем исследовательских работ посвящен данной проблеме с учетом технических, психологических и образовательных аспектов. Однако многие из этих исследований ограничены данными, доступными только для частичного использования, что приводит к затруднениям в развитии моделей, способных адаптироваться к изменениям. Данное исследование предлагает новую, этически обоснованную модель, основанную на большом языковом модели (LLM) Claude Sonnet 3.7. Эта модель динамически синтезирует системные журналы (syslog), включающие индикаторы инсайдерских угроз. Эти журналы имитируют реальные распределения данных, при этом внутри них инсайдерские угрозы представлены в небольшом проценте (1%).
#### Метод
Методология исследования основывается на технологии Claude Sonnet 3.7, которая применяется для синтеза системных журналов с индикаторами инсайдерских угроз. Для синтеза используются данные, оптимизированные для низкой частоты встречаемости угроз (1%). Эти синтетические данные позволяют создавать модели, тестируемые в условиях реальности. Для оценки эффективности сравнивались две модели: Claude Sonnet 3.7 и GPT-4o. Оба системы проанализировали синтетические системные журналы с инсайдерскими угрозами, а результаты были оценены с помощью метрик, таких как прецизион (precision), реколл (recall), MCC (Matthews Correlation Coefficient) и ROC AUC (Receiver Operating Characteristic Area Under Curve).
#### Результаты
Эксперименты показали, что Claude Sonnet 3.7 примерно в 2 раза превосходит GPT-4o по метрикам, таким как precision и MCC. Это связано с более точным выявлением угроз и меньшим количеством ложных срабатываний (false alarms). GPT-4o, в свою очередь, показала лучший recall, но была менее точной в определении положительных случаев. Логаритмический график ROC показал, что Sonnet 3.7 обеспечивает более высокую точность в обнаружении угроз, особенно при небольшом количестве положительных данных.
#### Значимость
Эти результаты открывают новые возможности для использования глубоких языковых моделей в создании синтетических данных и обнаружении инсайдерских угроз. Это может быть применено в различных сферах, где необходимо мониторинг безопасности и выявление подозрительных действий. Кроме того, решение имеет потенциал для улучшения обнаружения злоумышленников внутри организации, уменьшения ложных срабатываний и повышения достоверности моделей.
#### Выводы
Результаты экспериментов показывают, что Claude Sonnet 3.7 является эффектив
Abstract
Insider threats are a growing organizational problem due to the complexity of
identifying their technical and behavioral elements. A large research body is
dedicated to the study of insider threats from technological, psychological,
and educational perspectives. However, research in this domain has been
generally dependent on datasets that are static and limited access which
restricts the development of adaptive detection models. This study introduces a
novel, ethically grounded approach that uses the large language model (LLM)
Claude Sonnet 3.7 to dynamically synthesize syslog messages, some of which
contain indicators of insider threat scenarios. The messages reflect real-world
data distributions by being highly imbalanced (1% insider threats). The syslogs
were analyzed for insider threats by both Claude Sonnet 3.7 and GPT-4o, with
their performance evaluated through statistical metrics including precision,
recall, MCC, and ROC AUC. Sonnet 3.7 consistently outperformed GPT-4o across
nearly all metrics, particularly in reducing false alarms and improving
detection accuracy. The results show strong promise for the use of LLMs in
synthetic dataset generation and insider threat detection.