APFL: Analytic Personalized Federated Learning via Dual-Stream Least Squares

## Контекст Personalized Federated Learning (PFL) является важной областью исследований в машинном обучении, нацеленной на создание персонализированных моделей для каждого клиента с привлечением к этому процессу совместного обучения. Однако существующие PFL-методы часто не могут справиться с проблемой не-IID данных, которая сильно повлияет на общую точность модели и ее персонализацию. Эта проблема становится особенно актуальной при работе с данными, характеризующимися сильным разрывом в распределении между клиентами. В этой работе мы предлагаем новый подход, называемый Analytic Personalized Federated Learning (APFL), который использует двухпоточный метод least squares для решения этой проблемы. ## Метод Метод APFL основывается на использовании фронт-енда на основе фундаментальной модели для извлечения признаков. Далее, процесс формирования модели делится на две части: глобальную общую структуру, основанную на shared primary stream, и локальную модель, специально для каждого клиента, разработанную на основе dedicated refinement stream. Значительная часть работы посвящена разработке аналитического подхода к решению проблемы не-IID данных. Благодаря этому, APFL обладает идеальным свойством робастности при различной степени не-IID распределения данных, что позволяет получить модели, которые достаточно термотологичны и идентичны даже при сильных различиях в распределении данных. ## Результаты Мы провели эксперименты на нескольких датасетах, включая MNIST, CIFAR-10, CINIC-10 и FEMNIST, чтобы проверить эффективность нашего подхода. Наши результаты показали, что APFL превосходит существующие базовые модели на холке 1.10%-15.45% в точности. Эти результаты демонстрируют эффективность нашего подхода в обеспечении персонализации моделей, даже при серьезных не-IID распределениях. ## Значимость Важность нашего работы заключается в том, что APFL может быть применен в различных приложениях, где необходимо обеспечить конфиденциальность и модельные мощности, не теряя точности. Это может быть широко применено в сферах, таких как медицина, финансовые услуги, искусственный интеллект, а также в ситуациях, где данные клиентов имеют сильно различное распределение. Благодаря своему уникальному подходу, APFL позволяет повысить производительность и сделать решения более гибкими и устойчивыми в условиях сильного разрыва данных. ## Выводы Предложенный APFL-подход доказал свою эффективность в решении проблемы не-IID данных в PFL. Мы планируем продолжить работу, улучшая модель, чтобы добиться еще большей гибкости и работы в реальных условиях. Будущие исследования будут направлены на расширение APFL для более сложных случаев не-IID данных и исследования новых аналитических моделей для персо