FedDAF: Federated Domain Adaptation Using Model Functional Distance
2509.11819v1
cs.LG, cs.CV, 68W15, 68T05, 90C25, I.2.6; I.5.1; C.2.4
2025-09-17
Авторы:
Mrinmay Sen, Ankita Das, Sidhant Nair, C Krishna Mohan
Резюме на русском
#### Контекст
Федеративное обучение (FL) является методом искусственного интеллекта, который позволяет нескольким устройствам обучать модель независимо, делимыми только выходными данными. Однако в некоторых ситуациях модель обучается в одном окружении (исходном), но используется в другом (целевом), при этом данные в этих окружениях могут отличаться (domain shift). Дополнительно, в целевом окружении может быть ограниченное количество отмеченных данных. Эти ограничения становятся проблемами для многих существующих методов федеративного обучения, которые часто не уделяют должного внимания совмещению этих двух проблем.
#### Метод
FedDAF (Federated Domain Adaptation Using Model Functional Distance) — это новый метод, который адресует две основные проблемы в FedDA: domain shift и ограниченность меток в данных целевого клиента. Он использует сходство между локальными моделями целевого и исходных клиентов, оценивая "модельное функциональное расстояние" на основе их минимальных градиентов, вычисленных в целевых данных. Эта мера позволяет выбирать информацию из исходных моделей, которая наиболее полезна для целевого клиента, даже при ограниченных данных. Агрегация исходных моделей происходит с помощью простого среднего в серверной части. Для построения глобальной модели включена новая методика определения угла между градиентами моделей, используя нормализацию Гомперца.
#### Результаты
FedDAF был протестирован на реальных данных, включая CIFAR-10-C, CIFAR-100-C и FMNIST-C. На этих данных FedDAF показал значительные улучшения в достижении тестовой точности по сравнению с существующими федеративными, локальными и FDA-методами. Например, в сценарии с преобладанием domain shifts FedDAF получил до 10% выигрыша в точности. Эти результаты подтверждают эффективность подхода в решении проблем использования моделей в незнакомых окружениях с ограниченными данными.
#### Значимость
FedDAF может применяться в сценариях, где необходимо обучать модели в одном окружении, но использовать их в других, например, в медицине, автоматизации и мобильных приложениях. Его основное преимущество — удачное решение проблемы domain shift в сочетании с ограниченным меткованным данным. Благодаря этому, FedDAF показал себя как более гибкий и эффективный подход по сравнению с существующими методами.
#### Выводы
FedDAF показал значительные улучшения в FedDA, ставшими возможными благодаря новой функциональной метрике. Будущие исследования будут нацелены на расширение этого подхода для обучения на более глубоких моделях и для применения в задачах, где высокая точность критична. Это может включать такие области, как диагностика заболеваний и анализ текста.
Abstract
Federated Domain Adaptation (FDA) is a federated learning (FL) approach that
improves model performance at the target client by collaborating with source
clients while preserving data privacy. FDA faces two primary challenges: domain
shifts between source and target data and limited labeled data at the target.
Most existing FDA methods focus on domain shifts, assuming ample target data,
yet often neglect the combined challenges of both domain shifts and data
scarcity. Moreover, approaches that address both challenges fail to prioritize
sharing relevant information from source clients according to the target's
objective. In this paper, we propose FedDAF, a novel approach addressing both
challenges in FDA. FedDAF uses similarity-based aggregation of the global
source model and target model by calculating model functional distance from
their mean gradient fields computed on target data. This enables effective
model aggregation based on the target objective, constructed using target data,
even with limited data. While computing model functional distance between these
two models, FedDAF computes the angle between their mean gradient fields and
then normalizes with the Gompertz function. To construct the global source
model, all the local source models are aggregated using simple average in the
server. Experiments on real-world datasets demonstrate FedDAF's superiority
over existing FL, PFL, and FDA methods in terms of achieving better test
accuracy.