Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning

## Контекст В мире современных систем, основанных на многоагентной решающей системе (MAS), эффективность и надежность часто определяются внешними угрозами, такими как атаки, непредвиденные сбои или ограниченные ресурсы. Особенно волнующим становится вопрос идентификации самых уязвимых агентов в таких системах. Нарушение работы этих агентов может оказать значительное воздействие на общую производительность и надежность системы. В настоящем исследовании акцент ставится на тезис, что участие в многоагентной системе некоторых агентов может привести к критическим ошибкам и ухудшению работы всей системы. Данный аспект является ключевым для широкого круга приложений, в том числе для систем управления военными силами, сетей Интернета вещей (IoT) и цифровых средств управления технологическими процессами. Таким образом, необходимо разработать методы, способные эффективно определить и учесть эти важности для улучшения надежности и безопасности систем. ## Метод Для решения проблемы идентификации уязвимых агентов в многоагентной системе была предложена методология, основывающаяся на методах математической оптимизации и машинного обучения. Главной идеей является использование декомпозиции задачи на две подзадачи: выбор уязвимых агентов и построение наихудших случаев поведения для них. На первом этапе используется трансформация Фенхеля-Рокафелла (Fenchel-Rockafellar) для декомпозиции задачи на уровень выбора агентов и уровень построения атак. Эта трансформация позволяет упростить вычислительно трудные задачи, достигнув обособленного обучения на каждом уровне. Далее, решение выбора уязвимых агентов использует метод последовательного гребания (greedy) в сочетании с агентными сетями (RL). Затем, построение наихудших случаев поведения для выбранных уязвимых агентов осуществляется с использованием методов марковских решающих процессов (MDP), в результате чего получается наиболее эффективный вариант атаки. Этот двухуровневый подход позволяет эффективно столкнуться с проблемой идентификации уязвимых агентов в многоагентных системах. ## Результаты Исследование было проведено с использованием высокомасштабных многоагентных систем, включающих сотни агентов. Было проанализировано поведение системы при участии различных уровней атак, а также при определении наиболее уязвимых агентов. Результаты испытаний показали, что предложенная методика эффективно определяет уязвимых агентов и успешно руководствуется созданием максимального вреда для системы. Дополнительно, была проанализирована степень возде