FedQuad: Federated Stochastic Quadruplet Learning to Mitigate Data Heterogeneity

## Контекст Federated Learning (FL) является мощным подходом к распределенному обучению моделей, обеспечивающим поддержку приватности данных и их распределенности. Однако существуют значительные вызовы, связанные с характером данных на клиентских устройствах, включая нестандартность (data heterogeneity) и небольшой объем данных. Эти проблемы вызывают снижение качества моделей, особенно в условиях неравномерного распределения классов и ограниченного объема данных на каждом клиенте. Необходимость развития методов, способных эффективно справляться с подобными проблемами, лежит в основе мотивации для исследований в этой области. Особенно актуальной является задача минимизации негативного влияния различий в данных клиентов на качество общей модели. ## Метод Мы предлагаем метод \textit{FedQuad}, основанный на метрическом обучении, который сосредоточен на уменьшении внутриклассовой дисперсии и увеличении межклассовой дисперсии в общем пространстве признаков. Метод оптимизирует расстояния между элементами одного класса (похожие пары), при этом максимизируя расстояния между элементами различных классов (отрицательные пары). Это позволяет достичь более точного представления клиентских данных в общем пространстве. Метод \textit{FedQuad} использует формулу оптимизации, которая эффективно сбалансирована между этими целями, и технику градиентного спуска, применяемую к федеративному обучению. Выбор данных и архитектуры гарантирует эффективность метода в условиях нестабильности данных между клиентами. ## Результаты Мы проводили эксперименты на двух датасетах: CIFAR-10 и CIFAR-100. Эти датасеты были разделены на клиентские наборы данных с разными дистрибуциями классов. Мы сравнили нашу модель с несколькими имеющимися подходами, включая стандартные методы FL и метрическое обучение. Эксперименты показали, что \textit{FedQuad} демонстрирует значительное превосходство в условиях нестандартности данных, особенно при малом количестве клиентов и данных. Мы также провели анализ того, как различные метрические подходы влияют на качество обучения в FL. Эти результаты указывают на высокую эффективность \textit{FedQuad} в решении проблемы несогласованности данных. ## Значимость Метод \textit{FedQuad} имеет широкие перспективы применения в сферах, где важно сохранение приватности данных и эффективное обучение моделей в условиях несогласованности клиентских данных. Например, это могут быть различные системы медицинского мониторинга, мобильные приложения или системы обнаружения объектов в реальном времени. Несомненным преимуществом является уменьшение влияния неоднородности данных на качество обще