Adaptive Anomaly Detection in Evolving Network Environments

## Контекст Изменение статистических свойств данных во временном диапазоне, известное как **distribution shift**, является ключевой проблемой для систем глубокого обучения, в том числе аномалий. Это становится особенно актуальным в сетевых средах, где свойства трафика могут меняться динамически. Традиционные системы детекции аномалий, основывающиеся на супервизорном обучении, требуют ручной меток, что повышает стоимость использования. Основываясь на несупервизорном обучении, эти системы часто сталкиваются с проблемой катастрофического забывания при адаптации к новым условиям. Наша мотивация заключается в разработке адаптивной системы, которая способна самостоятельно определять и преодолевать эти трудности. ## Метод Разработанная архитектура NetSight основывается на **online pseudo-labeling**, который автоматически генерирует метки для данных, не требуя ручных интервенций. Для контроля забывания вводится **knowledge distillation**, позволяющий сохранить полученные знания о предыдущих моделях. Базовая модель обучается с помощью алгоритма **triplet loss**, для того чтобы обеспечить высокую точность в классификации. Для мониторинга и адаптации к динамическим сетевым условиям вводится алгоритм **gradual domain adaptation**, который постепенно апгрейдит модель для сохранения интегрированности с новыми данными. ## Результаты На três длительных датасетах сетевых данных были проведены эксперименты, оценивающие эффективность NetSight. Метод показал **F1-score improvements**, которые достигают **11.72%** по сравнению с состоянием искусственного интеллекта, основанного на ручной метке. Также, NetSight продемонстрировал **высокую точность в детекции аномалий** в ситуациях, где статистические свойства трафика менялись во времени. Это доказывает повышенную гибкость и надежность системы в адаптации к изменению условий. ## Значимость Данная работа может быть применена в различных сценариях, где динамические сети нуждаются в реакции на изменения в трафике. Метод NetSight намного эффективнее существующих, поскольку он не требует ручной меток и автоматически адаптируется к изменениям. Это может быть применено в системах безопасности сети, мониторинге IT-инфраструктуры и других приложениях, где адаптивность к изменениям ключевая. ## Выводы Выводы NetSight подтвердили его эффективность в адаптации к изменениям статистических свойств данных в сетевых средах. Наша работа представляет собой улучшенный подход в области детекции аномалий, обеспечивая не только рост точности, но и снижение трудоемкости в ручных процессах. Будущие исследования будут фокусироваться на увеличении скорости адапта