A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning

## Контекст Современные федеративные системы обучения сталкиваются с возрастающей угрозой загрязнения моделей с помощью вредоносных атак типа "бэкдор". Эти атаки внедряют в модель порождающие доверие к нейтивным объектам или действиям вредоносные субъекты, находящиеся в клиентских сетях. Традиционные методы защиты основываются на предположении, что данные клиентов являются хомогенными или что доступен чистый серверный набор данных. Однако в реальных условиях такие предположения часто не выполняются, что приводит к эффективности защиты сомнительности. Главной целью этой работы является развитие метода, который мог бы позволить обучать модели в условиях Non-IID данных, сохраняя высокую эффективность и защиту от вредоносных вмешательств. ## Метод Модель CLIP-Fed использует предварительно обученную модель CLIP (Contrastive Language-Image Pre-training), которая предлагает мощные возможности zero-shot learning для определения классов с помощью визуальных и текстовых признаков. Разработанная фреймворм подразделяется на две основные стратегии: **pre-aggregation defense** и **post-aggregation defense**. Прежде чем выполнять обучение на клиентских моделях, CLIP-Fed использует генеративный подход, основанный на multimodal language model, для расширения серверного набора данных. Это позволяет увеличить контекст и уменьшить влияние данных, внедренных с помощью "бэкдоров". Затем, в процессе обучения серверной модели, CLIP-Fed использует prototype contrastive loss и Kullback-Leibler divergence для выравнивания классов и устранения корреляции между триггером и целевыми метками. ## Результаты Эксперименты проводились на датасетах CIFAR-10 и CIFAR-10-LT. Метрики, использованные для оценки эффективности защиты, включали Attack Success Rate (ASR) и Model Accuracy (MA). В сравнении с другими текущими методами, CLIP-Fed достиг параметров ASR в 2.03% на CIFAR-10 и 1.35% на CIFAR-10-LT, что является значительным удовлетворением. Метрика MA также повысилась до 7.92% на CIFAR-10 и 0.48% на CIFAR-10-LT. Эти результаты показали, что CLIP-Fed может эффективно защитить модель от бэкдор-атак, даже в ситуациях Non-IID, не ухудшая основные параметры обучения. ## Значимость CLIP-Fed может быть применено в ситуациях, где клиенты используют Non-IID данные, но требуют высокой эффективности и безопасности моделей. Например, в системах с большим числом клиентов, таких как IoT-сети или медицинские приложения, где защита от вредоносных атак критична. CLIP-Fed предлагает преимущества в увеличении силы защиты, уменьшении атаки и улучшении основных метрик модели. Будущие исследования будут ориентированы на повышение универсальности модели и ее применение в адаптивном защитном фреймворке