Learning Real-World Acrobatic Flight from Human Preferences

## Контекст Летательные аппараты, такие как дроны, могут выполнять удивительные и сложные акробатические маневры, но создание систем управления для таких маневров часто требует от программистов ручного проектирования сложных моделей и взаимодействий. Традиционные подходы, такие как ручное создание функций наград, часто не достаточно точны и могут не учитывать стилистические приоритеты, которые человеки могут иметь в отношении движений. Это приводит к неэффективности в разработке и невысоком качестве маневров. Задача состоит в том, чтобы разработать метод, который может учитывать стилистические приоритеты человека при разработке управления для дрона. Это также поможет улучшить точность и стиль маневров, а также сделать разработку более эффективной и доступной. ## Метод Мы используем **Preference-Based Reinforcement Learning (PbRL)**, который позволяет агентам учитывать человеческие предпочтения во время обучения, вместо того, чтобы использовать ручно сконструированные функции наград. В этом исследовании мы применяем **Preference PPO**, расширенный с помощью **Reward Ensemble under Confidence (REC)**, чтобы улучшить точность и стабильность обучения. Мы используем симуляторы для разработки и тестирования политик, а также переходим к физическим дронам для реального применения. Мы также используем **MuJoCo** для проверки нашей модели в пространстве непрерывного управления. Это позволяет нам разработать управление, которое наиболее близко к тому, что люди хотели бы увидеть в акробатических маневрах. ## Результаты Мы провели эксперименты, используя данные из симуляторов и реальных дронов. Мы сравнивали наш метод с традиционным Preference PPO и получили результаты, показывающие, что **REC** улучшает показатели на 33.2%, получая 88.4% от награды, сравниваясь с 55.2% у Preference PPO. Мы также проводили эксперименты в **MuJoCo**, где показали, что наша модель может быть применена в контексте непрерывного управления. Мы также продемонстрировали, что ручное проектирование наград может привести к только 60.7% согласованности с человеческими предпочтениями, что продемонстрировано на простых задачах управления. Эти результаты показывают, что **PbRL** эффективен в понимании и выполнении сложных, стилистических приоритетов в акробатической полетовке. ## Значимость Наш метод может быть применен в различных областях, включая разработку управления для дронов и других летательных аппаратов. Он позволяет улучшить точность и стиль маневров, что может быть полезно в сценариях, где стиль и точность критически важны. Мы также продемонстрировали, что наш подход может быть применен в **MuJoCo** для непрерывного управления, что означает, что он может быть применен в различных сц