FedFusion: Federated Learning with Diversity- and Cluster-Aware Encoders for Robust Adaptation under Label Scarcity

## Контекст Federated learning (FL) является важной технологией для обучения моделей на данных, распределенных по множеству устройств или клиентов, не требуя передачи их в центральную точку. Однако практическое применение FL сталкивается с несколькими вызовами. Одним из них является неизбежное различие функциональных пространств между клиентами, которое приводит к несовместимости моделей. Кроме того, данные на клиентских устройствах часто являются нестандартными (non-IID), что усложняет обучение общей модели. Несомненно, что самый серьезный вызов в FL — это нехватка меток (label scarcity), которая ограничивает возможности обучения эффективной модели. Эти проблемы могут отрицательно сказаться на точности модели, робастности и справедливости. Мотивация FedFusion — развитие фреймворка, который эффективно решает эти проблемы с помощью трансфер-learning, подходов к разнообразию и кластеризации, а также фругального меток. ## Метод FedFusion — это фреймворк, который комбинирует методы трансфер-learning и подходы к поддержанию разнообразия и кластеризации. Он включает в себя три типа клиентов: **teacher-clients**, которые обладают достаточным количеством меток и направляют **learner-clients**, которые имеют меньше меток или их отсутствие. Teacher-clients используют **confidence-filtered pseudo-labels**, чтобы обучать learner-clients, при этом применяется **domain-adaptive transfer** для адаптации моделей к разным клиентам. FedFusion использует **diversity-aware encoders (DivEn)**, которые учитывают различия в данных между клиентами, включая **DivEn-mix** для смешения разнородных данных и **DivEn-c** для поддержания кластеризации. Для сохранения глобального когерентности, FedFusion использует **similarity-weighted classifier coupling**, что позволяет избежать преобладания данных-богатых клиентов и повысить производительность клиентов с небольшим количеством меток. Также FedFusion включает **frugal-labelling pipeline**, которая основывается на **self-/semi-supervised pretext training** и **selective fine-tuning** для уменьшения необходимости ручной маркировки. ## Результаты Для оценки FedFusion проведены эксперименты на нескольких датасетах, включая **tabular datasets** (такие как Adult и COMPAS) и **imaging datasets** (такие как CIFAR-10 и CIFAR-100), в разных режимах (IID, non-IID и label-scarce). Результаты показали, что FedFusion показал лучшую точность, робастность и справедливость по сравнению с состоянием искусства (state-of-the-art, SOTA), в том числе **FedAvg**, **FedProx** и **FedPer**. На датасетах CIFAR-10 и CIFAR-100, FedFusion показал **10-15% выигрыша в точности** в режимах с небольшим количеством меток. Также, FedFusion показал низкие значения **communication overhead** и **computation cost**, что делает его пригодным для реальных приложений. ## Значимость FedFusion имеет широкие области применения, включая различные сценарии, такие как медицина, моби