Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control

#### Контекст Углубленное управление глубоким оптимизатором при поддержке нейронных сетей (Deep Reinforcement Learning, DRL) широко применяется для решения задач подбора решений в системах с нетривиальными переменными. Однако существующие подходы, опирающиеся на политики, описываемые нормальной (гауссовой) распределением, ограничиваются унимодальностью. Это ограничивает возможности эффективного исследования среды и стратегического адаптирования. Эти проблемы значительно усиливаются в области непрерывного управления, где допустимые действия обычно представляют собой многообразие стратегий. Особенно важное влияние имеет ситуация, когда внешние факторы требуют многовариантного поведения. Таким образом, есть необходимость в развитии моделей, позволяющих выражать многомерность поведения на всех стадиях обучения. #### Метод Мы предлагаем "Категориальные политики" (Categorical Policies), которые описывают многомодальное поведение с помощью категориального распределения, представляющего возможные режимы поведения. Для каждого режима сеть генерирует выходное действие с учетом выбранного режима. Для обеспечения непрерывности и дифференцируемости мы используем два способа семплирования: семплирование с гаассианской интерполяцией и семплирование с возвратом к среднему. Эти техники позволяют сохранить точность и эффективность алгоритмов градиентного подбора. Мы также реализуем комбинацию градиентного семплирования и управления многоканальной информацией для оптимизации и повышения затратных ресурсов. #### Результаты Мы проверили нашу модель на среде DeepMind Control Suite, представляющей собой коллекцию задач в непрерывном пространстве действий, таких как ходьба, прыжки и другие сложные движения. Наши эксперименты показали, что "Категориальные политики" позволяют значительно улучшить эффективность исследования среды, что приводит к быстрейшему получению оптимальных решений и высокой стабильности работы. Это продемонстрировано с помощью сравнения с решениями на основе нормальных распределений. Мы также продемонстрировали, что наш подход лучше справляется с задачами, требующими стратегического адаптирования, такими как задачи с малым количеством вознаграждений. #### Значимость Наш подход имеет широкие применения в области искусственного интеллекта и управления, в том числе в системах робототехники, играх с подвижными субъектами, автоматизированному управлению и даже в задачах оптимизации в жизнеспособных системах. Значительным преимуществом является улучшение эффективности обучения, благодаря более широкой экспериментальной поддержке и стратегич