TLE-Based A2C Agent for Terrestrial Coverage Orbital Path Planning

#### Контекст В последние годы становится всё более актуальной задача управления орбитальными путями спутников, в связи с быстро растущей плотностью низкого орбитального пространства (LEO). Это приводит к усилению риска столкновений с активными спутниками и дебри. Задача оптимизации орбитальных путей, удовлетворяющих требованиям миссий и обеспечивающих максимальную безопасность, становится ключевой. На сегодняшний день, большинство методов оптимизации орбитальных путей основываются на инструментах математического программирования, таких как квадратичное программирование или методы полных скрещиваний. Однако эти подходы часто требуют больших вычислительных ресурсов и не всегда эффективны для реального времени. Решением этой проблемы может стать использование алгоритмов машинного обучения, в частности, реинфорсментного обучения (RL). #### Метод Методология предложенного подхода основывается на использовании алгоритма Advantage Actor-Critic (A2C) в рамках технологии RL. Работа проводилась в окружении OpenAI Gym, представляющем динамику орбитального движения спутника с помощью классических элементов Кеплера. Основной задачей агента является настройка пяти орбитальных параметров: полубольшая полуось, эксцентриситет, инклюзия, правый азимут возвышающегося узла и аргумент перигея. Целью является достижение целевого покрытия земли в пределах заданных радиусов. Для моделирования окружения использовалась формализация проблемы в виде Марковского Решающего Процесса (MDP). На каждом шагу, агент получал набор наблюдаемых данных, связанных с орбитальным движением, и выбирал оптимальный набор параметров в соответствии с полученными наградами. #### Результаты Для проверки эффективности предложенного подхода проведено ряд экспериментов, включающих сравнение A2C с другими алгоритмами RL, такими как Proximal Policy Optimization (PPO). Результаты показали, что A2C не только достигает более высоких наград (10.0 в сравнении с 9.263025 для PPO), но и демонстрирует более быстрое сходимость к решению. Например, для достижения оптимальных параметров, A2C требовал лишь 2,000 шагов в сравнении с 63,000 шагами для PPO. Это делает A2C более эффективным для реального времени применения в условиях того, что требования к быстродействию и высокой производительности критичны. #### Значимость Предложенный подход обладает значительным потенциалом применения в различных областях, таких как управление орбитальными миссиями, интеллектуальное управление космическим трафиком, и оптимизация глобальных сетей сп