SWiFT: Soft-Mask Weight Fine-tuning for Bias Mitigation
2508.18826v1
cs.LG, cs.CV
2025-08-28
Авторы:
Junyu Yan, Feng Chen, Yuyang Xue, Yuning Du, Konstantinos Vilouras, Sotirios A. Tsaftaris, Steven McDonagh
Резюме на русском
#### Контекст
Современные машинные обучения (ML) часто используются в этически чувствительных областях, таких как здравоохранение, но столкнулись с проблемой биаса в моделях. Биас может привести к несправедливости в результатах, ухудшению общейтичности моделей и, в итоге, к усилению социальных дискриминаций. Борьба с биасами требует эффективных и эффективных алгоритмов, которые могут уменьшить биас без существенного потери точности или требований к ресурсам.
#### Метод
Мы предлагаем Soft-Mask Weight Fine-Tuning (SWiFT), новую методологию для дебиасинга моделей. SWiFT определяет относительные вклады весов модели в биас и полную диагностическую точность. Это делается с помощью двух этапов: в первой стадии вычисляются вклады каждого параметра модели в биас и точность, а во второй стадии используются разные градиентные потоки для обновления весов, чтобы уменьшить биас, не сильно затрагивая диагностическую точность. SWiFT требует только небольшого внешнего датасета и нескольких эпох для оптимизации, что делает процесс дебиасинга быстрым и эффективным.
#### Результаты
Мы проверили SWiFT на шести различных датасетах, включая 4 датасета дерматологии и 2 датасета X-рей грудной клетки. Мы измерили уменьшение биаса по трём биас-чувствительным атрибутам: пол, тон кожи и возраст. Исследования показали, что SWiFT существенно уменьшает биас, одновременно сохраняя высокую точность диагностики и улучшая общую обусловленность модели. Эти результаты показали, что SWiFT показывает лучший баланс между биасом и точностью, чем другие существующие методы.
#### Значимость
SWiFT может использоваться в различных областях, где биас может иметь отрицательное влияние, таких как здравоохранение, финансы и социальные сети. Он предлагает значительные преимущества перед другими методами, такими как более эффективное использование ресурсов, меньший вызов для доступа к оригинальным данным и гибкость в уменьшении биаса без потери точности. Мы считаем, что SWiFT может стать ключевым инструментом для этически безопасного использования ML в сложных реальных ситуациях.
#### Выводы
Мы представили SWiFT, новую модель для дебиасинга, которая стабильно уменьшает биас модели, сохраняя высокую точность в диагностике. Будущие исследования будут ориентированы на расширение SWiFT для дополнительных биас-чувствительных атрибутов и его применение в различных секторах, включая медицину, финансы и образование.
Abstract
Recent studies have shown that Machine Learning (ML) models can exhibit bias
in real-world scenarios, posing significant challenges in ethically sensitive
domains such as healthcare. Such bias can negatively affect model fairness,
model generalization abilities and further risks amplifying social
discrimination. There is a need to remove biases from trained models. Existing
debiasing approaches often necessitate access to original training data and
need extensive model retraining; they also typically exhibit trade-offs between
model fairness and discriminative performance. To address these challenges, we
propose Soft-Mask Weight Fine-Tuning (SWiFT), a debiasing framework that
efficiently improves fairness while preserving discriminative performance with
much less debiasing costs. Notably, SWiFT requires only a small external
dataset and only a few epochs of model fine-tuning. The idea behind SWiFT is to
first find the relative, and yet distinct, contributions of model parameters to
both bias and predictive performance. Then, a two-step fine-tuning process
updates each parameter with different gradient flows defined by its
contribution. Extensive experiments with three bias sensitive attributes
(gender, skin tone, and age) across four dermatological and two chest X-ray
datasets demonstrate that SWiFT can consistently reduce model bias while
achieving competitive or even superior diagnostic accuracy under common
fairness and accuracy metrics, compared to the state-of-the-art. Specifically,
we demonstrate improved model generalization ability as evidenced by superior
performance on several out-of-distribution (OOD) datasets.
Ссылки и действия
Дополнительные ресурсы: