Sparsity-Driven Plasticity in Multi-Task Reinforcement Learning

#### Контекст В глубоком reinforcement learning (RL) существует критическая проблема, называемая plasticity loss, которая проявляется в уменьшении возможности адаптации в процессе обучения. Это становится особенно актуальным в multi-task reinforcement learning (MTRL), где агенты должны уметь управлять различными и, возможно, конфликтующими задачами. Обычно, для улучшения plasticity используются специальные методы, но они часто приводят к неэффективности или увеличению сложности моделей. Мы изучаем, насколько могут быть эффективны спарсинговые методы, такие как Gradual Magnitude Pruning (GMP) и Sparse Evolutionary Training (SET), для повышения plasticity в MTRL, что, в свою очередь, может повысить общую эффективность. #### Метод Мы используем спарсинговые методы GMP и SET для оценки их влияния на plasticity в MTRL. Оба метода основываются на уменьшении весов сети в течение обучения, но GMP делает это постепенно, а SET — с использованием специальной структуры регуляризации. Мы проводим эксперименты с различными архитектурами MTRL: одним общим скелетным слоем, Mixture of Experts (MoE) и Mixture of Orthogonal Experts (MoOE). Для сравнения мы используем dense baselines и другие методы, например, regularization и explicit plasticity. Наши эксперименты проводятся на стандартных MTRL бенчмарках. #### Результаты Наши результаты показывают, что GMP и SET способны существенно снизить негативные показатели plasticity, такие как neuron dormancy и representational collapse. Эти улучшения часто приводят к повышению производительности в MTRL. В частности, sparse agents показывают лучшие результаты по сравнению с dense baselines и, в некоторых случаях, даже с превосходят специально разработанные методы для повышения plasticity. Эти результаты продемонстрированы на разных архитектурах и бенчмарках. #### Значимость Наша работа показывает, что sparsity-driven approaches могут быть эффективными для улучшения plasticity в MTRL. Они могут быть использованы в различных приложениях, где необходима высокая адаптивность агента, например, в robotics, game AI, и других областях, где задачи меняются динамически. Этот подход предоставляет преимущества в своей простоте и эффективности по сравнению с более сложными методами. Мы также отмечаем, что динамическая спарсинг может быть контекстно-зависима, что требует дополнительных исследований. #### Выводы Мы доказали, что GMP и SET эффективно улучшают plasticity в MTRL, приводя к повышению производительности и снижению негативных показателей, таких как dormancy и representational collapse. Эти результаты открывают новые пути для исследований в области sparsity и plasticity в deep RL. Будущие исследования будут ориентированы на дальнейшее изучение контекстной спарсинговой стратегии и ее применения в различных задачах MTRL.