CAMAR: Continuous Actions Multi-Agent Routing

## Контекст Многоагентное управление (Multi-Agent Reinforcement Learning, MARL) широко применяется в решении задач кооперативного и конкурентного решения задач, включая планирование маршрутов, управление роботами и игровые решения. Однако существующие MARL-benchmarks, как rule-based, так и learning-based, часто ограничиваются средами с дискретными состояниями и действиями, что не позволяет эффективно имитировать реальные комплексные ситуации. Кроме того, нет готовых средств для тестирования алгоритмов на сложных задачах планирования путей в пространствах действий, где действия непрерывны. Наша мотивация заключается в развитии продвинутого MARL-benchmark для решения таких задач, обеспечивающий высокую эффективность, реалистичность и возможность интеграции классических методов планирования. ## Метод Концепция CAMAR (Continuous Actions Multi-Agent Routing) основывается на создании среды с динамическими, непрерывными состояниями и действиями, представляющих собой пространство маршрутов в пространстве. Мы внедрили несколько уровней сложности и возможности интеграции методов типа RRT и RRT* в MARL-процесс. Архитектура CAMAR поддерживает эффективную синхронизацию множества агентов в реальном времени и позволяет управлять ими в рамках разных сценариев, включая кооперативные и конкурентные. Метод реализован на основе опен-сурс-фреймворков MARL и интегрирован с наиболее распространенными методами планирования путей. ## Результаты Мы провели эксперименты на множестве сценариев с различными уровнями сложности, включая ситуации с несколькими кооперативными агентами и конкурентными сценариями с целью оптимального маршрутизации. Использовались такие данные, как сетки, представляющие физические пространства, и симуляторы для эмуляции действий агентов. Результаты показали, что CAMAR эффективно поддерживает большие масштабы и позволяет проводить эксперименты на уровне 100,000 environment steps per second, что значительно превышает достижения существующих методов. Также мы продемонстрировали, как интеграция RRT* с MARL-алгоритмами позволяет повысить точность планирования. ## Значимость CAMAR представляет собой реалистичный и производительный MARL-benchmark, который может применяться в различных областях, включая робототехнику, игровые решения и системы координации в реальном времени. Он обеспечивает глубокий анализ ролей непрерывных действий в многоагентных системах и позволяет сравнивать различные алгоритмы на одной платформе. Мы считаем, что CAMAR может стать ключевым инструментом для развития новых методов и вкладываться в райд между разработчиками MARL-систем. ## Выводы CAMAR — это первый MARL-benchmark, который сочетает не