PANAMA: A Network-Aware MARL Framework for Multi-Agent Path Finding in Digital Twin Ecosystems

## Контекст Digital Twins (DTs) представляют собой инновационную технологию, которая позволяет создавать цифровые модели реальных объектов и систем, обеспечивая плавное взаимодействие между физическими и цифровыми сферами. Они получили широкое распространение в различных отраслях, включая производство, транспорт, здравоохранение и инфраструктуру, превратившись в ключевой элемент следующего поколения технологий, таких как обеспеченный AI и сети семийной мощности. Однако, по мере увеличения масштаба роботизированных систем и автоматизированных систем, возникают сложности в обеспечении эффективного обмена данными и сотрудничества между узлами. Наиболее затруднительными в этой области являются проблемы мультиагентного путеискания (MAPF), требующие быстрого и точного решения в реальном времени. Эти проблемы мотивируют развитие новых алгоритмов, которые могут обеспечивать эффективное взаимодействие между сетями и агентами в сложных цифровых экосистемах. ## Метод Мы предлагаем PANAMA (Priority Asymmetry for Network Aware Multi-agent Reinforcement Learning), новую марковскую стратегию для мультиагентного марковского актор-критик (MA-MACK), основанную на алгоритме Централизованного Обучения с Децентрализованным Исполнением (CTDE). PANAMA использует асинхронный архитектурный подход, где каждый агент обучается независимо, но взаимодействует с другими агентами в режиме реального времени. Мы внедрили Priority Asymmetry, чтобы распределить приоритеты между агентами в зависимости от их важности для задачи, а также создали алгоритм, который учитывает ограничения сети и использует данные в реальном времени для более эффективного обновления стратегии. Эта архитектура обеспечивает быстрое обучение, высокую точность решений и способность адаптироваться к изменению условий в реальном времени. ## Результаты Мы проверили PANAMA на наборе симуляционных данных, где он был сравнен с другими методами MAPF, такими как A3C и MA-MACK. Наши результаты показали, что PANAMA превосходит другие методы по многим показателям, включая точность, скорость и масштабируемость. Например, в задаче путеискания на трехмерной сети с 100 агентами, PANAMA показал скорость выполнения задачи в 25% выше, чем A3C, и обеспечил более высокую точность стратегии. Мы также проверили свою методику в реальных условиях, используя виртуальную среду, где PANAMA продемонстрировал способность адаптироваться к изменению сетевых условий и обеспечить безупречную работу в задачах, требующих высокой точности и скорости. ## Значимость PANAMA может быть применен в различных сферах, где требуется эффективное мультиагентное взаимоде