Unlocking Robust Semantic Segmentation Performance via Label-only Elastic Deformations against Implicit Label Noise

2508.10383v1 cs.CV, cs.AI 2025-08-16
Авторы:

Yechan Kim, Dongho Yoon, Younkwan Lee, Unse Fatima, Hong Kook Kim, Songjae Lee, Sanga Park, Jeong Ho Park, Seonjong Kang, Moongu Jeon

Резюме на русском

## Контекст Обработка изображений для сегментации объектов является ключевым вопросом в области машинного обучения, особенно в сферах, таких как автоматизация производства, медицина и системы помощи в управлении трафиком. Однако даже самые продвинутые модели часто сталкиваются с проблемами, связанными с несогласованностью между изображением и его меткой. Такие несогласованности часто вызываются небольшими ошибками в метках, которые не являются очевидными, но все же могут повлиять на качество работы модели. Традиционные методы обучения, которые не учитывают эту проблему, могут привести к ухудшению производительности модели. Данная работа фокусируется на адресации этой проблемы в сегментации с помощью новых методик, которые могут улучшить обучение моделей и увеличить их устойчивость к мелким метковым ошибкам. ## Метод Для решения проблемы несогласованности между изображением и его меткой, авторы предлагают новый подход, который вводит "эластичные деформации" только в метках, но не в изображении. Это позволяет модели сосредоточиться на изучении объектов, не привязываясь к точным меткам, что может быть полезно в ситуациях с небольшими ошибками в метках. Такой подход декомпозирует традиционный процесс обучения, разделяя обработку изображений и меток, что дает модели большую устойчивость и гибкость. Метод использует специальные техники, такие как генерация новых меток через деформации, чтобы улучшить обучение и увеличить устойчивость модели к шумам в метках. ## Результаты Для проверки эффективности предложенного подхода, авторы проводили многочисленные эксперименты на различных датасетах, включая Vaihingen, LoveDA, Cityscapes и PASCAL VOC. Результаты показали, что новый метод приводит к значительным улучшениям в производительности, с увеличением mIoU (mean Intersection over Union) на +2.29, +2.38, +1.75 и +3.39 для соответствующих датасетов. Эти результаты демонстрируют, что эластичные деформации могут значительно улучшить устойчивость модели, даже без дополнительных трюков обучения. Кроме того, когда эта техника используется в сочетании с другими методами, такими как CutMix и Label Smoothing, результаты становятся еще более заметными. ## Значимость Предложенный подход может быть применен в различных областях, где необходима сегментация объектов, включая транспортную инфраструктуру, медицинскую изображования, автоматизированные системы управления производством. Он демонстрирует потенциал для улучшения обучения моделей, даже при наличии небольших мелких несогласованностей в метках. Это может привести к более надежным и точным моделям, которые могут б

Abstract

While previous studies on image segmentation focus on handling severe (or explicit) label noise, real-world datasets also exhibit subtle (or implicit) label imperfections. These arise from inherent challenges, such as ambiguous object boundaries and annotator variability. Although not explicitly present, such mild and latent noise can still impair model performance. Typical data augmentation methods, which apply identical transformations to the image and its label, risk amplifying these subtle imperfections and limiting the model's generalization capacity. In this paper, we introduce NSegment+, a novel augmentation framework that decouples image and label transformations to address such realistic noise for semantic segmentation. By introducing controlled elastic deformations only to segmentation labels while preserving the original images, our method encourages models to focus on learning robust representations of object structures despite minor label inconsistencies. Extensive experiments demonstrate that NSegment+ consistently improves performance, achieving mIoU gains of up to +2.29, +2.38, +1.75, and +3.39 in average on Vaihingen, LoveDA, Cityscapes, and PASCAL VOC, respectively-even without bells and whistles, highlighting the importance of addressing implicit label noise. These gains can be further amplified when combined with other training tricks, including CutMix and Label Smoothing.

Ссылки и действия