The Application of Transformer-Based Models for Predicting Consequences of Cyber Attacks

#### Контекст Современная кибербезопасность стала ключевым аспектом защиты информационных систем от внешних и внутренних угроз. Главной проблемой этой области является увеличение числа киберугроз, которые приводят к негативным последствиям для целостности, доступности и конфиденциальности систем. Эти угрозы приводят к потере данных, финансовым убыткам и ухудшению репутации организаций. Особенно актуальным становится использование технологий углубленного обучения (deep learning) для понимания и прогнозирования последствий киберугроз. Одним из наиболее трудных аспектов является классификация последствий атак на основе текстовых описаний. Многие существующие методы имеют ограниченную точность и не могут эффективно обрабатывать большое количество данных. Это делает необходимым развитие более точных и эффективных методов классификации, чтобы обеспечить более эффективную защиту от киберугроз. #### Метод В данном исследовании использована методология глубокого обучения для классификации последствий киберугроз. Модель Bidirectional Encoder Representations from Transformers (BERT) была интегрирована с Hierarchical Attention Networks (HAN) для обеспечения эффективного многометкального классификации. BERT был выбран из-за его способности понимать контекст слов в тексте, что позволяет ему обрабатывать большие текстовые данные с высокой точностью. Hierarchical Attention Networks (HAN) были применены для улучшения классификации на основе вложенных субъектов в тексте. Архитектура модели также включала Convolutional Neural Networks (CNN) и Long Short-Term Memory (LSTM) для сравнения с BERT. Эти модели были обучены на данных из MITRE Common Weakness Enumeration (CWE) database, которая содержит описания различных киберугроз и их последствий. #### Результаты В ходе экспериментов были сравнены результаты BERT, HAN, CNN и LSTM на данных CWE. BERT достиг точности $0.972$ при многометкальной классификации, что значительно превышает результаты остальных моделей. HAN показал лучшие результаты на определенных многометкальных тегах по сравнению с CNN и LSTM, но не достиг той же универсальной точности, что и BERT. CNN и LSTM, в свою очередь, показали нижний уровень точности и не смогли удовлетворить более сложные задачи классификации в области кибербезопасности. Эти результаты подтверждают, что BERT является более эффективной моделью для прогнозирования последствий киберугроз. #### Значимость Результаты этого исследования имеют большое значение для кибербезопасности и индустрии. BERT может быть использован для автоматизации процессов классификации киберугроз, что существенно сократит время, затрачиваемое на анализ текстовых данных. Это позволит специалистам по бе