Anomaly detection in network flows using unsupervised online machine learning

#### ## Контекст Современные сети характеризуются высоким трафиком и значительной динамичностью. Это связано с постоянным ростом объема данных, распространением вирусных угроз и усложнением типов атак. Из-за этого требуется эффективная модель аномалий, которая могла бы скорректироваться в реальном времени, адаптируясь к изменениям сетевого поведения. Однако большинство существующих решений требуют больших объемов тренировочных данных с предварительной меткой, что недоступно в реальных условиях. Из этого вытекает необходимость разработки моделей, которые могли бы осуществлять онлайн-обучение и адаптироваться к ситуациям, где требуется минимальное вмешательство человека. #### ## Метод Предлагаемая модель основывается на неучитывающем машинном обучении с онлайн-обучением с возможностью онлайн-аппендинга. Основным алгоритмом стала One-Class SVM, которая используется для моделирования нормального поведения сети. Для реализации использовалась библиотека River, разработанная специально для работы в реальном времени. Архитектура системы включает модули для сбора данных, их обработки и анализа с использованием One-Class SVM. Такой подход позволяет модели отслеживать изменения в сети и адаптироваться к ним в реальном времени. #### ## Результаты Для оценки модели использовались данные NF-UNSW-NB15 и его расширенная версия v2. Эти данные содержат сетевые потоки с метками различных категорий атак. Модель показала высокую точность (выше 98%), низкую статистику ложноположительных сигналов (менее 3,1%) и полную отдачу (100%). Особенно подчеркивается низкое время обработки одного потока (<0.033 мс), что делает модель пригодной для использования в реальном времени. #### ## Значимость Модель может быть применена в различных сферах, где необходима защита от аномалий, например, в сетях банков, телекоммуникаций, здравоохранения и информационной безопасности. Основное преимущество заключается в ее возможности тренироваться в реальном времени с минимальным затратом ресурсов, что обеспечивает высокую реактивность и стойкость к новым типам атак. Эта модель также может помочь в создании безопасных и надежных систем, повышая уровень защиты данных. #### ## Выводы Модель показала высокую эффективность в детектировании аномалий в сетевых потоках, при этом требуя минимального количества метки данных. Будущими направлениями исследований могут стать улучшение точности модели при работе с более сложными типами атак, а также изучение возможности интеграции модели с другими методами защиты сетей.