Impact of Collective Behaviors of Autonomous Vehicles on Urban Traffic Dynamics: A Multi-Agent Reinforcement Learning Approach

## Контекст Проблемы транспортных систем в урбанизированных зонах характеризуются задержками, циркуляционными проблемами и неэффективным использованием дорожной сети. Эти проблемы усугубляются в условиях смешанного трафика, где тра traнспортные средства (ТС) с разными уровнями технических возможностей должны совместно использовать дорожное пространство. Автономные ТС (АТ) смогут повысить эффективность, но их влияние на общее движение зависит от поведения АТ в смешанном трафике. Этот аспект требует глубокого изучения, чтобы проанализировать взаимодействие АТ с человеческим трафиком и оптимизировать автономные системы для достижения оптимального уровня безопасности и эффективности. ## Метод Мы разработали модель на основе многоагентного управления, связанного с Deep Q-learning, организованного в сетевой архитектуре. В качестве моделирования участников движения мы выбрали трех типов участников: человеческие водители, RL-управляемые АТ и традиционные автомобили. Алгоритм Deep Q-learning использовался для обучения АТ, чтобы они принимали решения в пределах сети города. Мы вводим разные поведения АТ, включая самостоятельное, коллективное, конкурентное, социальное, альтруистичное и злоумышленное. Эти поведения определяются через назначение наградных функций, которые влияют на решения АТ. Эксперименты проводятся в симуляционной среде, используя разработанную нами платформу PARCOUR. ## Результаты Результаты экспериментов показали, что АТ могут сократить свои времена пути до 5%, зависящих от выбранного поведения. Например, когда АТ стремятся избегать трафика, они достигают меньшего времени пути, чем гуманные водители. Тем не менее, в случае конкурентного поведения АТ могут увеличить время пути для человеческих водителей. Мы также отметили, что значения эффективности зависят от того, каким образом АТ учитывают информацию о трафике и интерпретируют ее в своих решениях. Наши результаты демонстрируют, что многоагентное RL может обеспечить оптимальное управление трафиком в смешанной архитектуре, но результаты зависят от поведения выбранных АТ. ## Значимость Результаты нашего исследования могут быть применены в разработке новых алгоритмов управления АТ, которые будут спроектированы для включения в урбанизированную систему транспорта. Автономные ТС, оптимизированные для социального или альтруистичного поведения, могут способствовать эффективному использованию дорожной сети и сократить время пути для всех участников. Это может привести к улучшению общей б