Integrating Task-Specific and Universal Adapters for Pre-Trained Model-based Class-Incremental Learning

## Контекст Class-Incremental Learning (CIL) — это задача, в рамках которой необходимо развитию машинного обучения учитывать прирост новых классов, не приводя этого к утечке знаний о старых классах. Несмотря на прогресс в области CIL, существуют проблемы, связанные с неэффективной интеграцией заранее обученных моделей и недостаточной учетной доли общей информации в работе классификаторов. Эти факторы приводят к снижению точности и устойчивости классификации. Необходимость решения этих проблем побудила авторов разработать более эффективный подход к обработке задач CIL. ## Метод Предложен подход, основанный на интеграции **Task-Specific Adapters** и **Universal Adapters** (TUNA). Задачу индивидуальной обработки классов решают **Task-Specific Adapters**, которые адаптируются к определенному набору классов. В то же время, **Universal Adapters** объединяют общую информацию, делясь на универсальные черты, которые полезны для всех задач. Чтобы выбирать наиболее подходящий адаптер для конкретной задачи, используется **Entropy-Based Selection Mechanism**. Кроме того, введена **Adapter Fusion Strategy**, объединяющая преимущества задачных и универсальных адаптеров в процессе инференса. ## Результаты Проведены эксперименты на нескольких популярных датасетах (таких как CIFAR-100 или ImageNet-100). Метод TUNA обеспечил значительное повышение точности классификации по сравнению с соответствующими подходами. Особо выдающиеся результаты были получены в случае применения **Adapter Fusion Strategy**, которая позволила сформировать универсальный адаптер, который оптимально комбинирует общую и задачную информацию. Это позволило не только решать задачу CIL, но и улучшить устойчивость классификатора к новым классам. ## Значимость Метод TUNA может применяться в широком кругу задач, где необходима продолжительная обработка данных без утечки знаний. Это могут быть задачи, связанные с динамическим спутниковым приемом данных, видеонаблюдением, медицинскими изображениями и др. Наиболее значимым преимуществом является улучшение производительности классификации и уменьшение скольжения знаний между классами. Это позволяет сделать модели более устойчивыми и эффективными в боевых условиях. ## Выводы Авторы успешно разработали метод, который эффективно комбинирует задачные и универсальные адаптеры в методе Class-Incremental Learning. Результаты исследований показали выдающуюся эффективность и устойчивость полученного подхода. В будущем планируется расширить применение TUNA на различные задачи и улучшить механизмы выбора адаптеров для большей гибкости и точности.