Integrated Noise and Safety Management in UAM via A Unified Reinforcement Learning Framework

#### Контекст Urban Air Mobility (UAM) представляет собой перспективу внедрения небольших авиационных транспортных средств для решения проблем транспортных загруженности в плотных городских средах. Однако вхождение UAM в жизнь жителей городов связано с многочисленными техническими и операционными вызовами, особенно в низкоизменном (логическом) уровне городского воздушного пространства. Наиболее критичными из них являются согласование между минимизацией шума и обеспечением безопасной дистанции между воздушными транспортными средствами. Эти два целевые показателя часто рассматриваются отдельно, что усложняет поиск компромиссов. Наша работа предлагает инновационный подход к развитию UAM, основанный на методах усовершенствованного учения (reinforcement learning, RL). Мы предложили систему управления воздушным трафиком, объединяющую обе цели в единой структуре решения. Агенты в этой системе работают на уровне многоуровневого воздушного пространства, оптимизируя шумные изображения и стратегии распределения с целью достижения эффективности в управлении трафиком и уменьшения шума в городских условиях. #### Метод Методология, разработанная нами, основывается на подходе многообъективного реинфорсментного обучения (multi-objective reinforcement learning, MORL). Многоуровневый воздушный пространственный подход разделяет городской воздушный пространственный подход на различные слои, каждый из которых отвечает за определенную область воздушного движения. Агенты, работающие на каждом слое, используют сети глубокого обучения (deep neural networks) для точного оценивания шума и расстояния от других судов. Основной архитектурой является генеративно-адверсарный генератор (generative adversarial network, GAN), оптимизирующий совместно и шум и безопасность. Система также включает в себя алгоритмы распределенного обучения, чтобы обеспечить децентрализованное управление и уменьшить задержки в реальном времени. #### Результаты Мы провели многочисленные эксперименты для оценки эффективности нашей модели. Данными для тестов стали ситуации с высоким набором трафика в городских условиях. Результаты показали, что наша модель способна достигать краткосрочных компромиссов между шумовой эффективностью и безопасностью в плотных зонах трафика. Мы также провели исследования требований к вычислительным ресурсам и детерминированности решений, показав, что наше решение работает значительно быстрее и точнее, чем существующие альтернативы. Также мы проводили исследования по динамическим требованиям шума и безопасности. #### Значимость Наше решение может быть применено в различных си