SelectMix: Enhancing Label Noise Robustness through Targeted Sample Mixing
2509.11265v1
cs.LG, cs.CV, stat.ML
2025-09-17
Авторы:
Qiuhao Liu, Ling Li, Yao Lu, Qi Xuan, Zhaowei Zhu, Jiaheng Wei
Резюме на русском
## Контекст
Обучение глубоких нейронных сетей с шумными метками остается вызовом в области машинного обучения. Шумные метки мешают сетям выучивать правильные представления, что приводит к ухудшению их общей и переобученной модели. Хотя методы, такие как Mixup, показали свою эффективность в улучшении общей и робастной модели, они часто применяются без достаточного учета того, какие выборки следует смешивать и как. Это приводит к нежелательному продолжению шумных сигналов в обучении. Мотивация для разработки SelectMix заключается в создании более учётной стратегии смешивания, которая бы учитывала характерные шумные метки и создавала более точные супервайзинг-сигналы.
## Метод
SelectMix — это фреймворк, основанный на конфиденциальном гиданте, который предназначен для улучшения устойчивости к шумным меткам. Он работает в двух этапах: (1) **Идентификация неточных выборок:** Используя кросс-валидацию K-fold, SelectMix определяет выборки с неуверенными метками или амбигуами. (2) **Учётное смешивание выборок:** Эти выборки смешиваются с выборками с высоким уровнем уверенности из их классов. Выборки смешиваются используя **мягкие метки** — комбинацию всех классов, участвующих в смешении. Это позволяет создавать более точные сигналы обучения, которые более полно соответствуют смешанным выборкам.
## Результаты
SelectMix протестирован на множестве синтетических и реальных датасетов, включая MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, CIFAR-N и Clothing1M. Эксперименты показали, что SelectMix намного превосходит существующие методы, такие как Mixup, в ситуациях, когда данные имеют шумные метки. Также было проведено теоретическое анализирование, подтвердив, что SelectMix лучше адаптируется к шумным меткам и обеспечивает более стабильное обучение сетей.
## Значимость
SelectMix может применяться в ситуациях, где данные имеют высокий шум в метках, например, в обработке изображений, текстов или звука. Он предоставляет более точные супервайзинг-сигналы, что приводит к улучшенной общей и робастной модели. В перспективе, SelectMix может быть использован в сценариях, где данные собираются из недостоверных источников, таких как сенсоры или гугл-формы, что делает его значимым для реального мира.
## Выводы
SelectMix показал свою эффективность в обучении глубоких нейронных сетей в условиях шумных меток. Он предоставил новый подход к смешиванию выборок, который учитывает характерные шумные сигналы и позволяет создавать более точные сигналы обучения. Будущие исследования будут направлены на расширение SelectMix к другим типам данных и его
Abstract
Deep neural networks tend to memorize noisy labels, severely degrading their
generalization performance. Although Mixup has demonstrated effectiveness in
improving generalization and robustness, existing Mixup-based methods typically
perform indiscriminate mixing without principled guidance on sample selection
and mixing strategy, inadvertently propagating noisy supervision. To overcome
these limitations, we propose SelectMix, a confidence-guided mixing framework
explicitly tailored for noisy labels. SelectMix first identifies potentially
noisy or ambiguous samples through confidence based mismatch analysis using
K-fold cross-validation, then selectively blends identified uncertain samples
with confidently predicted peers from their potential classes. Furthermore,
SelectMix employs soft labels derived from all classes involved in the mixing
process, ensuring the labels accurately represent the composition of the mixed
samples, thus aligning supervision signals closely with the actual mixed
inputs. Through extensive theoretical analysis and empirical evaluations on
multiple synthetic (MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100) and real-world
benchmark datasets (CIFAR-N, MNIST and Clothing1M), we demonstrate that
SelectMix consistently outperforms strong baseline methods, validating its
effectiveness and robustness in learning with noisy labels.
Ссылки и действия
Дополнительные ресурсы: