Activation Function Design Sustains Plasticity in Continual Learning

## Контекст В области нейронных сетей, активационные функции (activation functions) играют ключевую роль в обучении моделей, определяя как их точность, так и их поverьи при обучении. В стандартных сценариях обучения, связанных с идентично распределенными данными (I.I.D), различия между различными активационными функциями часто становятся менее значительными, особенно когда модель имеет достаточную емкость и оптимизационные параметры аккуратно настроены. Однако в сценариях непрерывного обучения (continual learning), ситуация меняется. Здесь модели не только страдают от катастрофического забвения (catastrophic forgetting), но и могут лишиться способности к адаптации (loss of plasticity) при изменении обучающих данных. Такая проблема весьма серьезна: без потенциала к адаптации модели не могут справиться с новыми задачами или динамическими условиями. Несмотря на то, что существуют стратегии, такие как переобучение, эластичные архитектуры и интеллектуальные методы, роль активационных функций в поддержании пластичности (plasticity) при этом остается нереконструированной. В данном исследовании авторы показывают, что выбор активационной функции является главным, архитектурно-независимым фактором, позволяющим поддерживать и улучшать пластичность моделей в сценариях непрерывного обучения. Они предлагают два новых типа нелинейных функций (Smooth-Leaky и Randomized Smooth-Leaky), которые могут быть легко интегрированы в существующие архитектуры без существенных изменений. Эти функции были проверены в двух разных сценариях: супервизированном класс-инкрементальном обучении (supervised class-incremental benchmarks) и обучении с подкреплением (reinforcement learning) с использованием MuJoCo-окружений, имитирующих нестационарные ситуации. ## Метод Исследование основывается на свойственном анализе формы нелинейности (negative-branch shape) и поведения при сглаживании (saturation behavior). Авторы предлагают две новые активационные функции, которые являются расширениями традиционной ReLU-функции: 1. **Smooth-Leaky**: Эта функция представляет собой нелинейную функцию, которая обладает мягкой, гладкой формой, но при этом сохраняет некоторую асимметрию, позволяющую добиться лучшего баланса между сжатием и адаптацией. 2. **Randomized Smooth-Leaky**: Эта версия включает случайные параметры, чтобы дать модели больше степени независимости от конкретных инициализаций и улучшить устойчивость к изменениям. В экспериментах, авторы использовали два типа бенчмарков: - **Class-incremental benchmarks**: где модель должна учиться на новых классах без забвения старых. - **MuJoCo environments**: экосистемы симуляции, где система должна адаптироваться к нестационарным изменениям