Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation

## Контекст Фундаментальные модели (Foundation Models, FMs) обладают выдающимися способностями к обобщению, но их применение к задачам подробного анализа часто требует их адаптации. Эта проблема возникает особенно актуальной при работе с данными, хранящимися в условиях высокой конфиденциальности, например, в сценариях обработки частной информации. Данные такого рода не могут быть переданы в облачные сервисы, что ограничивает возможности адаптации моделей. Для решения этой проблемы возник фреймворк федеративного обучения (Federated Learning, FL), который позволяет обучать модели, не передавая данные с ребровых устройств в облако. Однако, существующие FL-протоколы не учитывают ограничения ребровых устройств, такие как ограниченные вычислительные мощности и нехватка меток для данных. Мы предлагаем стратегию Practical Semi-Supervised Federated Learning (PSSFL), где ребровые устройства работают только с необученными, низкорезольвентными данными, в то время как сервер работает с менее объемными, но меточенными высокорезольвентными данными. ## Метод Мы предлагаем Federated Mixture of Experts (FedMox), новую архитектуру, которая решает проблемы с малой резолюцией и недостатком меток. FedMox использует архитектуру Mixture-of-Experts (MoE), в которой специализированные эксперты обрабатывают разные части компонентов входных данных. Мы также вводим "Spatial Router", который позволяет выравнивать признаки между разными разрешениями, и "Soft-Mixture Strategy", которая стабилизирует обучение в условиях неполного набора меток. Эти техники позволяют уменьшить нагрузку на вычислительные ресурсы ребровых устройств и обеспечить эффективную адаптацию моделей к задачам в PSSFL. ## Результаты Мы проводим эксперименты на реальных данных сцены автоматизированного вождения. Наши результаты показывают, что FedMox позволяет адаптировать фундаментальные модели к новым задачам с минимальными затратами вычислительных мощностей на ребровых устройствах. Мы сравниваем FedMox с другими подходами в сценарии PSSFL и показываем, что он обеспечивает значительное улучшение показателей, таких как точность и скорость обучения, при ограниченных ресурсах на устройствах. Эти результаты указывают на то, что FedMox является эффективным вариантом для адаптации моделей в PSSFL в реальных условиях. ## Значимость Выводы нашего исследования указывают на то, что FedMox может быть применено в сценариях, где необходима адаптация моделей в условиях высокой конфиденциальности и ограниченных вычислительных мощностей. Этот подход может быть применен в области обработки изображений, звука, и других данных, где FL является ключевым средством для соблюдения конфиденциальности. Наша работа создает новые возможности для развития приложений,