DRMD: Deep Reinforcement Learning for Malware Detection under Concept Drift

## Контекст В современных условиях, где широко распространены мобильные устройства, возрастает угроза злоупотребления системными ресурсами и утечек конфиденциальных данных. Мобильные шпионские программы, такие как Android.Spy.1105.origin, являются одним из основных источников этих угроз. Для обнаружения таких программ необходимо решать задачи обнаружения вредоносных программ (malware detection) в условиях сильно изменяющихся угроз (concept drift). Традиционные методы, такие как супервизорные классификаторы, сталкиваются с трудностями при долгосрочном сохранении точности в таких динамических условиях. Этот контекст мотивирует разработку новых подходов, которые могут адаптироваться к изменениям в типах угроз и повысить надежность обнаружения вредоносных программ в динамических условиях. ## Метод Для решения задачи обнаружения вредоносных программ в условиях concept drift разработана методология, основанная на глубоком развитии учебных процессов (deep reinforcement learning, DRL). Основным принципом этого подхода является обучение агента, который может принимать решения в ходе обнаружения вредоносных программ, оптимизируя два ключевых аспекта: классификацию образцов и отказ от классификации высокорисковых образцов в пользу их ручного анализа и обновления модели. Агенту предоставляется марковская модель, где каждый состояние представляет собой набор признаков образца, а действия заключаются в классификации образца или его отказе в ручном режиме. Оценка качества действий осуществляется с помощью метрики Area Under Time (AUT), которая сочетает в себе точность классификации и устойчивость в течение долгого периода времени. ## Результаты Проведенные эксперименты показали высокую эффективность DRL-процедур в сравнении с традиционными методами. Агент DRMD (Deep Reinforcement Learning for Malware Detection) показал значительные улучшения в Area Under Time (AUT) для классификации, классификации с отказом и классификации совместно с активным обучением (active learning). Значимые улучшения были отмечены в течение многолетнего периода, что указывает на высокую устойчивость DRMD к изменениям в типах угроз. Эти результаты демонстрируют перспективу DRL в области мобильного обнаружения вредоносных программ, сочетая стратегическую адаптацию к изменениям в угрозам и эффективную классификацию. ## Значимость Предложенный подход имеет широкие области применения в системах безопасности мобильных устройств, включая мобильные телефоны и планшеты. Он может быть применен для обнаружения и блокировки мобильных вредоносных приложений, улучшения защиты пользовательских данных и предотвращения утечек конфиденциальности. Преимущество DRMD заключается в устойчивости к concept drift, что обеспечивает долгосрочную надежност