The Heterogeneous Multi-Agent Challenge

## Контекст Multi-Agent Reinforcement Learning (MARL) является одной из самых активных областей исследований в стартап-экосистеме глубокого обучения. Несмотря на свою молодость, этот подход уже продемонстрировал свою применимость во многих различных прикладных сферах, включая робототехнику, игры, управление трафиком и даже ролевые игры. Однако, существуют группы проблем, которые остаются вне области интереса для современных методов MARL. Одним из таких областей является **Heterogeneous Multi-Agent Reinforcement Learning (HeMARL)**, где агенты имеют различные сенсоры, ресурсы или возможности, но должны сотрудничать, ориентируясь только на локальную информацию. В отличие от ситуаций с однородными агентами, HeMARL представляет собой более сложный класс задач, который находит отражение во многих реальных ситуациях, но всё ещё остается недостаточно исследованным. Например, в ситуациях, где разные агенты оснащены разными типами сенсоров или владеют разными типами ресурсов, необходимо учесть эти различия при сотрудничестве. В настоящее время существуют бенчмарки для MARL, как ALE и SMAC, но в HeMARL отсутствуют аналогичные среды. Это сильно ограничивает возможности выполнения зависимости между новыми методами и реальной эффективностью. ## Метод Для решения проблемы недостатка бенчмарков в HeMARL, авторы предлагают создать новую среду, где агенты будут иметь разные типы сенсоров и возможности. Её создание основывается на использовании **PyMARL** — одной из самых популярных библиотек для выполнения MARL-задач. Эта среда будет использовать новый тип агентов, определяемый не только своими сенсорами, но и их типом ресурса. Для того чтобы убедиться в генерируемой сложности, авторы предлагают использовать различные уровни сложности, определяющие размер команды, доступные ресурсы и взаимодействие между агентами. Таким образом, авторы предлагают создать среду, которая позволяет протестировать алгоритмы в реальном режиме, без использования предварительного тренировки в простых средах, которые не подходят для HeMARL. ## Результаты Авторы провели эксперименты с использованием их нового метода на трёх различных средах. Для каждого из экспериментов, они сравнивали свой подход с тремя современными методами MARL. Основной результат заключается в том, что новый метод показывает значительное преимущество в сложных ситуациях с разными типами агентов. В частности, авторы продемонстрировали, что их метод позволяет лучше оптимизировать решения, связанные с разными типами сенсоров и ресурсов, чем современные методы. Было также показано, что их метод позволяет обнаружить лучший многоаг