Global Pre-fixing, Local Adjusting: A Simple yet Effective Contrastive Strategy for Continual Learning

#### Контекст Continual learning (CL) является ключевым заданием в машинном обучении, нацеленным на уменьшение проблемы катастрофического забывания. Эта проблема возникает при обучении модели на ряде задач, когда она забывает ранее полученные знания. Одним из перспективных подходов в CL является использование contrastive loss для создания более трансферабельных и менее забывающихся представлений. Однако, существующие методы сталкиваются с проблемами разделения интер-задачных и интра-задачных признаков, что приводит к повышенной степени забывания и неточности. Данная статья предлагает новую стратегию, которая адресует эти проблемы, обеспечивая более точное разделение и трансформацию представлений. #### Метод Метод \textbf{G}lobal \textbf{P}re-fixing, \textbf{L}ocal \textbf{A}djusting for \textbf{S}upervised \textbf{C}ontrastive learning (GPLASC) основывается на двух основных компонентах: **глобальном префиксинге** и **локальной регулировке**. Глобальный префиксинг разбивает пространство представлений на непересекающиеся области, каждая из которых сформирована по точечной схеме, образующей **E**quiangular **T**ight **F**rame (ETF). Эти области делятся между задачами, чтобы избежать интер-задачной путаницы. Локальная регулировка, в свою очередь, регулирует внутризадачные признаки, образуя индивидуальные локальные ETF-фреймы в рамках предварительно определенной области. Таким образом, GPLASC обеспечивает возможность разделять и отличать признаки как между задачами, так и внутри задач. Этот подход легко интегрируется с существующими CL-фреймворками. #### Результаты Чтобы проверить эффективность GPLASC, проводились ряд экспериментов на широко известных базах данных для CL, включая Split-CIFAR-100 и Split-MiniImagenet. Мы сравнивали нашу стратегию с несколькими современными методами CL, включая подходы, основанные на contrastive loss. Результаты показали, что GPLASC превосходит другие методы в терминах метрик качества, таких как average accuracy и forgetting rate. Эти результаты доказывают, что наш подход эффективно решает проблему забывания и сохраняет высокую точность в CL-задачах. #### Значимость Предложенная стратегия GPLASC может быть применена в различных CL-ситуациях, включая образовательные системы, робототехнику и анализ данных в реальном времени. Основные преимущества заключаются в высокой точности, уменьшении забывания и уменьшении конфузионирования между задачами. Будущие исследования будут сосредоточены на улучшении адаптации GPLASC к более сложным задачам и его интеграции с другими CL-методами. #### Выводы В этой работе мы предложили новую стратегию GPLASC для решения проблемы забывания в CL. Мы демонстрируем, что наш подход эффектив