Closing the Oracle Gap: Increment Vector Transformation for Class Incremental Learning
2509.21898v1
cs.LG, cs.CV
2025-09-30
Авторы:
Zihuan Qiu, Yi Xu, Fanman Meng, Runtong Zhang, Linfeng Xu, Qingbo Wu, Hongliang Li
Резюме на русском
## Контекст
Class Incremental Learning (CIL) — это задача, предполагающая последовательное получение знаний о новых классах без утраты знаний о старых. Однако несмотря на некоторый прогресс в этой области, существующие методы CIL всё ещё страдают от существенных проблем. В частности, они значительно уступают в производительности своим аналогам, обученным на всей исторической выборке (oracle). Эта проблема, называемая "Oracle Gap", обуславливает значительные проблемы в практическом применении CIL. Исследователи акцентируют внимание на законах геометрии решений oracle, отмечая, что они обычно сохраняют низкопотеривые линейные связи с оптималом предыдущих задач. Это открытие стало мотивацией для разработки нового подхода, который способен улучшить производительность CIL и снизить ущерб от catastrophic forgetting.
## Метод
Заложенная в основу Increment Vector Transformation (IVT) фреймворк предложен как новая, мощная подходка к решению проблемы Oracle Gap. Основная идея заключается в периодическом переносе модели в новые решения, сохраняющие линейную связь с оптималом предыдущих задач. Эта техника достигается с помощью оптимизации диагональных матриц Фишера. Это позволяет IVT эффективно решать задачу CIL в обоих сценариях: с использованием или без использования примеров (exemplar-free или exemplar-based). Кроме того, IVT легко адаптируется к различным стратегиям инициализации модели. Эта формальная модель даёт возможность значительно уменьшить ущерб от catastrophic forgetting и сохранить высокую точность на предыдущих классах.
## Результаты
Опытные исследования были проведены на таких датасетах, как CIFAR-100, FGVCAircraft, ImageNet-Subset и ImageNet-Full. Использовались сильные базисные методы CIL для сравнения. Итоговые результаты показали, что IVT эффективно улучшает последней точности на CIFAR-100 (+5.12%) и снижает ущерб от catastrophic forgetting (+2.54%). На FGVCAircraft, используя CLIP-pre-trained SLCA baseline, IVT демонстрирует подвиги +14.93% в средней точности и +21.95% в последней точности. Эти результаты подтверждают эффективность IVT в решении проблемы Oracle Gap, что делает его важной добавкой к инструментарию CIL.
## Значимость
Разработанный подход может быть применён в различных областях, где необходимо постоянно обновлять модели без потери эффективности на старых данных. Особый потенциал IVT проявляется в сценариях, где используются модели с предварительной фазой обучения (pre-training). Изучение геометрических свойств решений oracle позволяет IVT значительно повысить стабильность модели и снизить ущерб от ошибок, связанных с forgetting. Это делает метод привлекательным для реализации в практических проектах, где требуется высокая точность и долгосрочна
Abstract
Class Incremental Learning (CIL) aims to sequentially acquire knowledge of
new classes without forgetting previously learned ones. Despite recent
progress, current CIL methods still exhibit significant performance gaps
compared to their oracle counterparts-models trained with full access to
historical data. Inspired by recent insights on Linear Mode Connectivity (LMC),
we revisit the geometric properties of oracle solutions in CIL and uncover a
fundamental observation: these oracle solutions typically maintain low-loss
linear connections to the optimum of previous tasks. Motivated by this finding,
we propose Increment Vector Transformation (IVT), a novel plug-and-play
framework designed to mitigate catastrophic forgetting during training. Rather
than directly following CIL updates, IVT periodically teleports the model
parameters to transformed solutions that preserve linear connectivity to
previous task optimum. By maintaining low-loss along these connecting paths,
IVT effectively ensures stable performance on previously learned tasks. The
transformation is efficiently approximated using diagonal Fisher Information
Matrices, making IVT suitable for both exemplar-free and exemplar-based
scenarios, and compatible with various initialization strategies. Extensive
experiments on CIFAR-100, FGVCAircraft, ImageNet-Subset, and ImageNet-Full
demonstrate that IVT consistently enhances the performance of strong CIL
baselines. Specifically, on CIFAR-100, IVT improves the last accuracy of the
PASS baseline by +5.12% and reduces forgetting by 2.54%. For the
CLIP-pre-trained SLCA baseline on FGVCAircraft, IVT yields gains of +14.93% in
average accuracy and +21.95% in last accuracy. The code will be released.
Ссылки и действия
Дополнительные ресурсы: