Combating Noisy Labels via Dynamic Connection Masking

```## Контекст Нетрудно предположить, что реальные данные часто содержат неточные или шумные метки, которые могут серьезно повлиять на качество моделей машинного обучения. Это особенно актуально в случае моделей с глубокими нейросетевыми архитектурами, которые способны быстро запоминать даже шумные или неверные метки. Изучение способов борьбы с этим шумом является ключевым вопросом в адаптивном машинном обучении. Одним из перспективных подходов является регуляризация архитектуры нейронных сетей, чтобы уменьшить влияние неточных меток. Однако пока что многие исследования фокусируются на потерь (loss functions) и выборе образцов (sample selection), оставив регуляризацию архитектуры недостаточно подробно изученной. В данной работе мы обобщаем принципы регуляризации моделирования в рамках Kolmogorov-Arnold Networks (KANs) и предлагаем Dynamic Connection Masking (DCM) — механизм, который адаптивно подавляет менее важные связи в модели, оптимизируя её надёжность в условиях шумных меток. ``` ```## Метод Механизм Dynamic Connection Masking (DCM) предлагает адаптивный метод для определения и отключения менее важных связей в нейронных сетях. Основной идеей является оценка информационной ценности каждой связи в модели и её динамическое управление во время обучения. Для MLP и KAN была разработана архитектура, в которой входы и выходы каждого слоя связаны динамическим маской. Это даёт возможность отключать менее важные связи и снижать влияние шума. Мы применяем специальный метод градиентного оценивания для классификации, который позволяет эффективно снижать градиентный шум. Таким образом, DCM может быть интегрирован с различными методами борьбы с шумом в метках, такими как устойчивые функции потерь и выбор образцов. Это даёт гибкость в применении DCM в различных условиях. ``` ```## Результаты Мы провели эксперименты с использованием как синтетических данных с шумом меток, так и реальных тестовых наборов данных. Наши результаты показали, что DCM постоянно превосходит современные подходы по сопротивлению шумным меткам в классификационных задачах. В сравнении с альтернативными методами, DCM не только повышает точность, но и уменьшает величину градиентного шума, что является критически важным при обучении с шумными метками. Кроме того, мы провели эксперименты с Kolmogorov-Arnold Networks (KANs) и показали, что они показали высокую стойкость к шумным меткам в различных сценариях, превосходя Multi-Layer Perceptron Networks (MLPs). ``` ```## Значимость DCM может быть применен в различных областях моделей машинного обучения, в том числе в ситуациях, когда необходимо обучить модели на данных с шу