Stackelberg Coupling of Online Representation Learning and Reinforcement Learning

## Контекст Область применения глубокого обучения, особенно в сфере глубокого обучения с подкреплением (deep reinforcement learning, RL), стала одной из самых динамичных и востребованных направлений в ИИ. Одна из сложностей в RL заключается в том, чтобы эффективно выучить функции представления (representation learning), которые позволяют оптимизировать поведение агента в сложных средах. Эта задача становится еще сложнее при недостатке сигналов отклика (sparse reward signal). Несмотря на успехы внедрения сложных дополнительных методов (auxiliary objectives) или полного разделения (decoupling) процессов представления и управления, эти подходы требуют дополнительных ресурсов и усложняют архитектуру. В настоящей работе предлагается новый подход, который структурирует взаимодействие между сетями представления и управления с помощью игровой динамики в стиле Stackelberg. ## Метод Предлагаемая модель, Stackelberg Coupled Representation and Reinforcement Learning (SCORER), основывается на принципах игры Stackelberg, где один из агентов (leader) стратегически выбирает представления, которые повышают эффективность действий второго агента (follower). Формализм заключается в том, что leader-сеть стремится минимизировать ошибку Bellman для follower-сети. Для поиска равновесия в игре используется алгоритм двух уровней (two-timescale algorithm). Это позволяет приближаться к оптимальному равновесию лидера и последователя. Метод может быть запущен на различных стандартных архитектурах, таких как DQN, и не требует дополнительных сложных архитектур или целей. ## Результаты Проведенные эксперименты показывают, что SCORER улучшает обучаемость (sample efficiency) и достигает высокой последней производительности (final performance) на бенчмарк-задачах, в том числе Atari-2600 и других. В сравнении с традиционными подходами, которые используют дополнительные цели или разделение представления и управления, SCORER показывает значительное улучшение с точки зрения эффективности и простоты реализации. Это подтверждает, что новый формализм динамики взаимодействия может быть более эффективен, чем сложные архитектуры или добавление дополнительных целей. ## Значимость Предлагаемый подход может быть применен в различных задачах глубокого обучения с подкреплением, где важно эффективно обучать функции представления и управления. Это может быть полезно в таких сферах, как игровые решения, моделирование систем, исследования робототехники и другие задачи, где требуется высокая эффективность и сложность решений. Одним из основных преимуществ является то, что данный подход уменьшает сложность и при этом повышает производительность. ## Выводы Предложенная модель SCORER демонстрирует, что можно совершенствовать RL-алгоритмы, не прибегая к добавлению сложных дополнительных