Robust Federated Learning under Adversarial Attacks via Loss-Based Client Clustering

## Контекст Federated Learning (FL) — это методология, позволяющая обучать модели с помощью нескольких участников (клиентов), не раскрывая личных данных. Однако FL чувствителен к атакам, особенно в сценариях, когда клиенты могут быть злонамеренными (Byzantine). Это важно в ситуациях, когда сервер имеет доверенные данные до начала федеративного обучения или когда один клиент может выступать в роли доверенного сервера. Обычные методы, такие как Mean, Trimmed Mean, Median, Krum и Multi-Krum, недостаточно эффективны при атаках, таких как label flipping, sign flipping и Gaussian noise. Наша работа стремится создать устойчивый подход к FL в условиях атак, используя loss-based client clustering. ## Метод Мы предлагаем алгоритм, основанный на кластеризации клиентов на основе их loss-функций. Данный подход позволяет определить два доверенных участника — сервер и один клиент — для корректного функционирования FL, не требуя предварительного знания об окружающих атаках. Мы разработали теоретические модели, установив ограничения оптимальности алгоритма даже при сильных Byzantine attacks. Техническая сторона решения включает в себя функциональную кластеризацию, loss-based filtering и устойчивые аппроксимации. ## Результаты Мы провели эксперименты на MNIST, FMNIST и CIFAR-10, используя Flower framework. Наш алгоритм демонстрирует значительное превосходство по сравнению с существующими методами, включая Mean, Trimmed Mean, Median, Krum и Multi-Krum. Мы проверили надежность алгоритма под различными атаками, такими как label flipping, sign flipping и Gaussian noise. Наши результаты показывают, что технология loss-based client clustering не только улучшает точность моделей, но и обеспечивает высокую устойчивость к злонамеренным клиентам. ## Значимость Наш подход может быть применен в любых сценариях FL, где клиенты могут быть злонамеренными. Он значительно улучшает устойчивость FL к атакам, не требуя дополнительных предположений о числе злонамеренных клиентов. Полученные результаты открывают новые возможности для применения FL в реальных ситуациях, таких как банковская сфера, здравоохранение и транспорт. Это демонстрирует потенциал FL для устойчивой и эффективной обработки данных в условиях атак. ## Выводы Мы предложили новый подход к обеспечению устойчивости FL в условиях атак. Наши эксперименты показали, что loss-based client clustering значительно превосходит существующие методы. Будущие исследования будут сконцентрированы на улучшении кластеризации и расширении применимости нашего подхода к более сложным сценариям FL.