Decoupling Continual Semantic Segmentation
2508.05065v1
cs.CV
2025-08-09
Авторы:
Yifu Guo, Yuquan Lu, Wentao Zhang, Zishan Xu, Dexia Chen, Siyu Zhang, Yizhe Zhang, Ruixuan Wang
Резюме на русском
**Резюме**
Качественное сохранение знаний о прошедших классах во время обучения новых классов в задачах непрерывной семантической сегментации (Continual Semantic Segmentation, CSS) остается сложной проблемой. Традиционные методы, основанные на единой архитектуре поддержки изображений, сталкиваются с проблемой катастрофического упущения (catastrophic forgetting), что приводит к неоднородности между узкой специализацией и гибкостью.
В статье предлагается DecoupleCSS — двухступенчатая архитектура, разделяющая обучение классово-ориентированного детектирования и агностической сегментации. В первой стадии, используя предобученные модели на входных данных, сгенерируются классо-конкретные подсказки. Во второй стадии, модель SAM создает точные маски сегментации, обеспечивая совместимость процесса сегментации для обоих классов.
Это решение улучшает баланс между сохранением знаний и обучением новых классов, показывая лучший результат в сравнении с предыдущими методами в CSS.
Abstract
Continual Semantic Segmentation (CSS) requires learning new classes without
forgetting previously acquired knowledge, addressing the fundamental challenge
of catastrophic forgetting in dense prediction tasks. However, existing CSS
methods typically employ single-stage encoder-decoder architectures where
segmentation masks and class labels are tightly coupled, leading to
interference between old and new class learning and suboptimal
retention-plasticity balance. We introduce DecoupleCSS, a novel two-stage
framework for CSS. By decoupling class-aware detection from class-agnostic
segmentation, DecoupleCSS enables more effective continual learning, preserving
past knowledge while learning new classes. The first stage leverages
pre-trained text and image encoders, adapted using LoRA, to encode
class-specific information and generate location-aware prompts. In the second
stage, the Segment Anything Model (SAM) is employed to produce precise
segmentation masks, ensuring that segmentation knowledge is shared across both
new and previous classes. This approach improves the balance between retention
and adaptability in CSS, achieving state-of-the-art performance across a
variety of challenging tasks. Our code is publicly available at:
https://github.com/euyis1019/Decoupling-Continual-Semantic-Segmentation.
Ссылки и действия
Дополнительные ресурсы: