Game-Theoretic Resilience Framework for Cyber-Physical Microgrids using Multi-Agent Reinforcement Learning

## Контекст Современные системы энергетического потребления становятся все более зависимыми от киберфизических систем, что усиливает риск направленных атак в сфере кибербезопасности. Это направляет внимание на развитие эффективных методов укрепления резильентности. Особенно актуальным становится использование киберфизических микросетов, которые обладают сложной структурой и требуют сложных стратегий управления. Целью данной статьи является разработка математически корректного фреймворка для оценки резильентности микросетов, используя теорию игр и мульти-агентные глубокие оптимизационные алгоритмы. ## Метод В статье предлагается формализовать модель резильентности микросетов с использованием теории игр и мульти-агентного метода. Авторы разработали метрики, включающие: Мощность Сервируемой Загрузки (LSR), Критическую Загрузку (CLR), Топологическую Устойчивость (TSS) и Метрику Дистрибьютора Энергии (DER). Эти метрики включены в однородную матрицу взаимодействий атаки-обороны с помощью Аналитического Иерархического Процесса (AHP). Основным методологическим подходом является Finite Horizon Markov Decision Process (MDP), где для проблемы оптимизации решается задача взаимодействия временных рядов с помощью мульти-агентного глубокого обучения. ## Результаты Для тестирования фреймворка, авторы использовали модель IEEE 33-узлов с сетями управления и DER (Distributed Energy Resources). Для оценки результатов, разработчики провели три эксперимента: 1. Анализ статических атак с использованием Нашевого равновесия; 2. Анализ серьезных атак, включающих высокоэффективные стратегии; 3. Адаптивные атаки с использованием Stackelberg-игр, regret matching, softmax-распределения и мульти-агентного Q-learning. Результаты показали, что адаптивные стратегии увеличивают LSR на 18.7% и CLR на 2.1% в сравнении с статическими методами. Также были описаны вычислительные анализы сложности и были демонстрированы гарантии обучения с помощью PAC. ## Значимость Разработанный фреймворк может быть применен в различных киберфизических системах, включая гриды с высокой степенью динамики и сложности. Он демонстрирует преимущества стратегического подхода и способности адаптироваться к угрозам в реальном времени, что повышает уровень безопасности и производительность систем. Это имеет потенциал для улучшения эффективности и стабильности в работе киберфизических систем. ## Выводы Результаты показали, что использование мульти-агентного глубокого обучения эффективно для применения в киберфизических системах, улучша