Scalable Multi-Objective Robot Reinforcement Learning through Gradient Conflict Resolution

## Контекст В современной робототехнике использование Reinforcement Learning (RL) для обучения управляющих контроллеров для роботов является востребованным подходом. Однако, многие задачи требуют учета нескольких целей, которые представляют собой вектор величин. Агрегирование этих целей в один скалярный признак часто приводит к проблемам, таким как затрудненная настройка параметров, устойчивость к локальным оптимумам и повышенная сложность оптимизации. Эти ограничения ограничивают степень использования RL в реальных задачах, где необходимо учитывать несколько задач одновременно. Целью данной работы является развитие методов, позволяющих эффективно работать с несколькими целями, обеспечивая устойчивость и эффективность алгоритмов RL в робототехнике. ## Метод Разработанный подход, GCR-PPO, является модификацией метода Proximal Policy Optimization (PPO), добавляющей в него возможность обрабатывать несколько целей. Основой GCR-PPO лежит метод декомпозиции градиентов задач. В этой модели используется многоголоская критическая сеть, которая разделяет обучение на несколько отдельных целей. Для каждой задачи рассчитывается свой градиент, позволяя алгоритму разрешать конфликты между целями. Это позволяет уменьшить конфликты в градиентах, обеспечивая устойчивость и эффективность обучения. Также в алгоритм внедрены механизмы для управления приоритетами целей, что дает возможность сконцентрироваться на наиболее важных задачах. ## Результаты Для оценки GCR-PPO проводились эксперименты на нескольких стандартных наборах данных, включая IsaacLab, который позволяет моделировать задачи манипуляции и локамоции. Результаты показали, что GCR-PPO показывает высокую степень скейлируемости и эффективности, сравнимой с традиционными методами PPO, но с значительно меньшим риском застревания в локальных оптимумах. Также было проведено сравнение с аналогичными методами, включая Parallel PPO. Главным положительным результатом является то, что GCR-PPO позволяет лучше учитывать конфликты между целями, что приводит к более лучшей точности и стабильности результатов, особенно в случае задач с высоким конфликтом между целями. ## Значимость Результаты показывают, что GCR-PPO может быть применен в различных областях робототехники, где требуется учет нескольких целей. Это включает задачи манипуляции, локамоции и другие, где необходима высокая точность и устойчивость. Главные преимущества GCR-PPO заключаются в том, что он решает проблему конфликта градиентов, что позволяет эффективно обучать контроллеры, не требуя ручной настройки параметров. Это может