Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning

## Контекст В современных системах, основанных на множестве агентов, актуальной проблемой является управление значительными количествами агентов, которые взаимодействуют в различных средах. Особенно важной является задача определения, какие агенты являются наиболее уязвимыми в системе. Уязвимость агентов может привести к непредвиденным отказам и снижению производительности в целой системе. Задача **Vulnerable Agent Identification (VAI)** в **Large-Scale Multi-Agent Reinforcement Learning (MARL)** становится ключевой, так как от распознавания уязвимых агентов зависит возможность улучшения системной устойчивости и моделирования эффективных стратегий. Недостаток существующих подходов заключается в том, что не учитывается крупномасштабная природа систем, а также не учитывается многоуровневая структура, которая включает в себя нетривиальные задачи оптимизации и взаимодействия. ## Метод В статье предлагается решение задачи VAI, основывающееся на новых методах геометрической оптимизации и методов обучения с подкреплением (Reinforcement Learning, RL). Методология основывается на методе **Hierarchical Adversarial Decentralized Mean Field Control (HAD-MFC)**, который разбивается на две связанные подзадачи: 1. **Выбор наиболее уязвимых агентов** на верхнем уровне (децентрализованное управление агентами в масштабе). 2. **Оптимизация взаимодействия между агентами** на нижнем уровне с использованием методов mean-field MARL, чтобы найти наиболее вредные сценарии для выбранных агентов. Эти две подзадачи связаны с помощью **Fenchel-Rockafellar Transform**, что позволяет разделить их и обучать каждую независимо. Это декомпозиция упрощает вычисления и позволяет учесть многоуровневую структуру системы. Была предложена новая регуляризированная форма Bellman-оператора, которая позволяет выделять наиболее уязвимых агентов в последовательном порядке. Эта реформализация дает возможность использовать **RL-алгоритмы** и **критерии приближенной оптимизации** для решения задачи. ## Результаты Результаты экспериментов проводились на симуляционных моделях больших масштабных систем с множеством агентов. Метод был протестирован на различных марковских средах с разными уровнями сложности. Наиболее уязвимые агенты были эффективно определены в тестовых ситуациях. Эксперименты показали, что предлагаемый подход позволяет выделить наиболее критичные точки уязвимости в системе, что приводит к ухудшению ее работы под воздействием злоумышленника. Метрики, использованные в экспериментах, включали в себя показатели уязвимости, эффективность выбора агентов и изменение оценочного функционала системы в зависимости от выбора уязвимости. ## Значимость Предложенный подхо