Adaptive Dual-Mode Distillation with Incentive Schemes for Scalable, Heterogeneous Federated Learning on Non-IID Data

#### Контекст Federated Learning (FL) является продвинутой методологией распределенного машинного обучения, позволяющей обучать модели на распределенных данных без нарушения конфиденциальности. Однако, FL сталкивается с рядом существенных проблем. Во-первых, не все устройства могут обучать одинаковые модели из-за различий в бизнес-требованиях и ресурсах вычислений. Во-вторых, статистическая неоднородность (non-IID data) становится ключевым фактором, который снижает качество глобальной модели. В-третьих, необходимо разработать экономичный и эффективный механизм поощрения, чтобы стимулировать участие клиентов в процессе обучения. В этой статье предлагается набор методологий для решения этих проблем. #### Метод Мы предлагаем три основных подхода: DL-SH, DL-MH и I-DL-MH. - **DL-SH (Distributed Learning with Shared Models):** Это методология, ориентированная на эффективное обучение в условиях статистической неоднородности. Она использует упрощенные модели и методы эффективной связи, что позволяет значительно сократить объем передаваемых данных и поддерживать конфиденциальность. - **DL-MH (Distributed Learning with Heterogeneous Models):** Данный подход рассчитан на полностью неоднородные модели, позволяя учесть различия в моделях клиентов. Он использует гибкие механизмы адаптации и взаимодействия для эффективного обучения в условиях статистической неоднородности. - **I-DL-MH (Incentive-Based Distributed Learning with Heterogeneous Models):** Это расширение DL-MH, включающее систему поощрений для клиентов. Он мотивирует участие в обучении FL путем предоставления экономичных и функциональных выгод. Методы были спроектированы, используя архитектуры сверточных и трансформерных моделей, а также технологии обеспечения приватности данных. Для тестирования использовались несколько датасетов (такие как MNIST, CIFAR-10), различные сценарии распределения данных (IID и несколько видов non-IID), а также различные варианты моделей. #### Результаты Проведенные эксперименты показали выдающиеся результаты. DL-SH улучшил точность глобальной модели на 153% в сравнении с традиционными методами, а DL-MH повысил точность на 180% при высокой статистической неоднородности. Инновационный подход I-DL-MH дал значительный прирост в точности — 225% при неоднородных данных, при этом снизив стоимость связи и улучшив удовлетворенность клиентов. #### Значимость Наша работа имеет широкие приложения в области децентрализованного машинного обучения, где требуется эффективность, конфиденциальность и стимулирование участия клиентов. Основные преимущества: - Улучшенная точность глобальной модели в условиях non-IID данных. - Значительное сокращение нак