FERD: Fairness-Enhanced Data-Free Robustness Distillation

## Контекст Проблема неодинаковой устойчивости моделей к атакам по-прежнему остается одной из наиболее актуальных в области м MАСИ. Данные-бесплатные методы, такие как Data-Free Robustness Distillation (DFRD), предлагают трансфер неустойчивости с теACHER-модели на STUDENT-модель без доступа к исходным данным. Однако существующие подходы к DFRD предпочитают увеличение общей устойчивости модели, не уделяя внимания разногласиям в устойчивости для разных классов. Такая неравенство может привести к недопустимому расхождению в устойчивости между классами, что является ключевой проблемой для DFRD. ## Метод FERD (Fairness-Enhanced Data-Free Robustness Distillation) — это новая архитектура, призванная устранить проблему неодинаковой устойчивости моделей к атакам. FERD ориентируется на проблемы с неравномерным распределением устойчивости по классам и нестабильной устойчивости в отношении вариантов атак. Два основных подхода решения: (1) **robustness-guided class reweighting**, который увеличивает пропорцию синтезированных данных для менее устойчивых классов, и (2) **Fairness-Aware Examples (FAEs) и Uniform-Target Adversarial Examples (UTAEs)**, которые распределяют атаки по всем классам и предотвращают склонность к устойчивости к определенным классам. ## Результаты FERD был проверен на трех открытых датасетах (CIFAR-10, CIFAR-100, Tiny-ImageNet). Он показал стабильное улучшение устойчивости самых уязвимых классов по сравнению со существующими DFRD-методами. Например, на датасете CIFAR-10 с MobileNet-V2, FERD увеличил минимальную устойчивость к атаке FGSM и AutoAttack на 15.1% и 6.4% соответственно. Эти результаты демонстрируют значительное улучшение не только уровня устойчивости, но и обеспечения справедливости при распределении устойчивости по разным классам. ## Значимость FERD может быть применен в ситуациях, где необходимо обеспечить высокую устойчивость моделей к атакам без доступа к данным, в том числе в сценариях, где классы требуют равноправия в устойчивости. Он предоставляет существенные преимущества в области обеспечения справедливости в моделях и улучшении характеристик распределения устойчивости. В будущем, FERD может быть доработан для поддержки более сложных атак и увеличения его гибкости в разных задачах. ## Выводы FERD представляет собой первый подход к Fairness-Enhanced Data-Free Robustness Distillation, который успешно устраняет проблему неодинаковой устойчивости моделей к атакам. Он демонстрирует значительное улучшение уровня устойчивости, особенно в сравнении с существующими DFRD-методами. Будущие исследования будут направлены на улучшение FERD для поддержки более сложных атак, а также на расширение его полезности в раз