FedAVOT: Exact Distribution Alignment in Federated Learning via Masked Optimal Transport

## Контекст Federated Learning (FL) — это методология распределенного обучения моделей, позволяющая обучать модели на распределенных данных без передачи исходных данных с клиентских устройств на сервер. Однако FL сталкивается с значительными проблемами при неполной участие клиентов в обучении. Так, например, распределение доступных пользователей (availability distribution, $q$) часто не совпадает с распределением, определяющим оптимизационный запрос (importance distribution, $p$). Это влечет за собой несбалансированность и нестабильность обновлений модели при использовании классического FedAvg. Данная проблема приводит к ухудшению качества модели, особенно в таких сценариях, как разнообразные данные, сценарии, требующие справедливости, и сценарии с ограниченным количеством участвующих клиентов. Для решения этих проблем предлагается FedAVOT — методом, основанный на принципах транспортного теоремы Оттлинга (optimal transport, OT), чтобы улучшить агрегацию в FL. ## Метод FedAVOT оптимизирует процесс агрегации в FL с использованием теории транспортной задачи Оттлинга, которая позволяет скорректировать распределения $q$ и $p$ для синхронизированной агрегации моделей. Основной инструментом является метод Sinkhorn scaling, который позволяет вычислить веса агрегации, исходя из транспортной задачи. Это способствует получению производственных, добротных и стабильных обновлений модели, даже при минимальном количестве участвующих клиентов. Формализм FedAVOT гарантирует проверенную сходимость $\mathcal{O}(1/\sqrt{T})$ в несмотримой схеме с обучением, не зависящую от количества участвующих клиентов за каждый раунд. Этот подход обеспечивает улучшение качества модели в сценариях, где клиенты нечасто участвуют или где распределение данных сильно отличается от целевого распределения. ## Результаты Исследования по FedAVOT проводились на различных симуляционных и реальных данных, включая сценарии с небольшим количеством участвующих клиентов и сценарии с неодинаковыми распределениями данных. Результаты показали, что FedAVOT превосходит FedAvg на различных метриках качества модели, включая точность и справедливость. Например, в сценарии с низким уровнем участия клиентов, FedAVOT показал серьезные выигрыши по сравнению с FedAvg, даже при числе участвующих клиентов в раунде одного или двух. Также, FedAVOT продемонстрировал улучшение справедливости модели в сценариях, где требуется сбалансированное распределение между различными подгруппами клиентов. ## Значимость FedAVOT может быть применен в различных областях, где требуется эффективное обучение моделей с распределенными данными, но с ограниченным участием клиентов. Например, в сферах, где д