Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL

#### Контекст Онлайн-классификация неизвестных классов (OCIL) является ключевым задачей в области машинного обучения, которая предполагает научить модель отличать новые классы в непрерывном потоке данных. Она отличается от оффлайн-обучения тем, что обучающие выборки видны только один раз, что делает её более реалистичной для реальных сценариев. Однако OCIL сталкивается с двумя основными проблемами: стабильностью модели при ограниченном объёме памяти и её адаптивностью к новым задачам. Насыщенные методами реплея методы демонстрируют неэффективность в условиях ограниченной памяти, в то время как методы перекрестной интерполяции (ensemble), несмотря на улучшение моделирования новых классов (plasticity), часто страдают от ухудшения стабильности (стабилизации). #### Метод Мы предлагаем прогрессивный подход, который улучшает обучение с помощью глобальной рабочей модели (GWM) — динамического инструмента, который объединяет параметры всех студентских моделей в каждой итерации обучения. GWM служит динамическим анкором для хранения и кредилизации знаний, а также обеспечивает стабильность, благодаря консервативной генерации. Мы также интегрировали механизм многоуровневого совместного дистилляции, который обеспечивает парный обмен знаний между студентскими моделями и сохраняет историческую информацию. Это подходит к решению проблемы стабильности и адаптивности в сильно ограничивающих условиях памяти. #### Результаты Мы проверили нашу модель на трёх стандартных бенчмарках OCIL, включая COCO, ImageNet и MS-COCO. Наши результаты показывают, что GWM не только повышает точность, но и существенно повышает моделирование новых классов с минимальными изменениями в стабильности. Благодаря многоуровневому совместному дистилляции, модель показывает значительные улучшения в сравнении с современными методами. #### Значимость Наше решение может быть применено в областях, где необходимо выявлять новые классы в непрерывном потоке данных, таких как системы распознавания образов в реальном времени, автоматизированные системы мониторинга или мобильные приложения. Особенностью нашей модели является её удачный баланс между стабильностью и адаптивностью, что делает её выгодным инструментом для реалистичных задач. #### Выводы Мы представили новую архитектуру, которая улучшает обучение с помощью глобальной рабочей модели в ситуациях строгих ограничений на память. Наши результаты показывают, что она значительно улучшает моделирование новых классов в рамках OCIL-задачи. Будущие исследования будут направлены на расширение этой модели для подд