FedUNet: A Lightweight Additive U-Net Module for Federated Learning with Heterogeneous Models

#### Контекст Federated learning (FL) — это метод тренировки моделей с распределенным использованием локальных данных по клиентам без их прямого обмена. Эта технология позволяет создавать мощные общие модели, не нарушая конфиденциальность данных. Однако большинство существующих решений признают только одинаковые архитектуры моделей на всех клиентах, что ограничивает применение FL в реальном мире, где модели часто различаются. Данная работа решает эту проблему, предлагая FedUNet — архитектуру, которая использует в качестве модуля добавочного компонента U-Net, независимую от архитектуры базовой модели. Такая подход позволяет снизить накладные расходы на обмен данными и улучшить эффективность обучения в неоднородных средах. #### Метод FedUNet предлагает добавить к каждой клиентской модели сверточной U-Net-архитектуру в качестве добавочного модуля. Эта модель включает кодировальный и декодировальный блоки, а также skip connections, позволяющие сохранять информацию о низкоуровневых и высокоуровневых контекстах. Ключевая новизна FedUNet заключается в том, что только компактный боттлнек U-Net (bottleneck) передается на сервер. Это позволяет уменьшить накладные расходы на обмен и при этом сохранить эффективность обучения. Базовые модели, такие как VGG, используются для экспериментов, чтобы продемонстрировать эффективность данного подхода. #### Результаты Использование FedUNet позволяет достичь высоких результатов с минимальными overhead-расходами. Опыт с VGG-моделями показал, что FedUNet достигает 93.11% точности с объемом данных 0.89 MB, что значительно меньше, чем у других методов. Более того, версия FedUNet с лёгким размером (lightweight) показала точность 92.68%, что демонстрирует её высокую эффективность даже при ограничениях на размер модели. #### Значимость FedUNet может быть применено в различных сценариях, где клиенты используют различные модели, но нужно обеспечить эффективное обучение в федеративной среде. К примеру, в медицине, где разные устройства могут использовать разные модели, FedUNet позволяет объединить пользовательские данные в одной модели без ущерба для конфиденциальности. Этот подход также позволяет минимизировать накладные расходы на обмен данными и повысить скорость обучения, что делает FL более привлекательным для реальных сетей. #### Выводы FedUNet представляет собой новую модель для федеративного обучения, которая удачно решает проблему неоднородных моделей в сетях FL. Основываясь на U-Net-модуле, FedUNet добавляет гибкость и эффективность в обучение моделей, не требуя совпадения архитектур. Будущие исследования будут направлены на расширение FedUNet для более сложных моделей и увеличение его эффективности в боль