Federated Fine-Tuning of Sparsely-Activated Large Language Models on Resource-Constrained Devices

--------------------------------------------------------------------------- ## Контекст Federated fine-tuning (FFT) является ключевым подходом для адаптации больших языковых моделей (LLMs) к конкретным задачам и данным на клиентских устройстрах. Однако, в случае спarsely-activated MoE-based LLMs, это обеспечивает значительные вызовы, такие как высокие требования к вычислительным ресурсам и конфиденциальность данных клиентов. На данный момент, существующие методы, такие как quantization, computation offloading и expert pruning, не могут достичь оптимальных результатов из-за непрактичных системных предположений и невнимательного отношения к характеристикам MoE. В этой работе мы рассматриваем эту проблему, сформулируем цельское федеративное окружение для постоянного оптимизации моделей с минимальными вычислительными затратами и максимальным ускорением достижения достоверных результатов. --------------------------------------------------------------------------- ## Метод Мы предлагаем FLUX, систему, которая обеспечивает эффективное федеративное окружение для файн-тюнинга MoE-based LLMs на устройствах с ограниченными вычислительными ресурсами, таких как современные GPU. FLUX включает три основных инновации: (1) **Quantization-based local profiling**, позволяющий оценивать активации экспертов с минимальными вычислительными затратами; (2) **Adaptive layer-aware expert merging**, способствующий снижению потребления ресурсов без потери точности; (3) **Dynamic expert role assignment**, использующий стратегию exploration-exploitation для балансировки процесса изучения и применения. Эти технические решения позволяют FLUX повысить эффективность и сократить время достижения достоверных результатов на 4.75X в сравнении с соревнованиями. --------------------------------------------------------------------------- ## Результаты Для оценки FLUX, мы проводили ряд экспериментов на двух моделях: LLaMA-MoE и DeepSeek-MoE. Использовались множество бенчмарк-датасеты, включающие различные задачи NLU и NLG. Результаты показывают, что FLUX ускоряет достижение достоверных результатов на 4.75X в сравнении с текущими методами, сохраняя очень высокую точность. Особую эффективность FLUX продемонстрировали на ресурсно-ограниченных устройствах, где другие методы показывали значительные просадки в производительности. --------------------------------------------------------------------------- ## Значимость FLUX открывает новые возможности для применения больших языковых моделей в реальном мире, особенно в сценариях с ограниченными ресурсами. Он позволяет значительно сократить время достижения работоспособной модели, что ключево для быстрого развертывания в сценариях, таких как мобильные приложения и IoT. Благодаря своим инновационным техническим решениям, FLUX обеспечивает значительное ускорение времени обучения и минимальные потери точности, делая его привлекательным решением для промышленного применения. --------------------------------------------------------------------------- ## Выводы FLUX достигает существенных улучшений в скорости и эффективности FFT для MoE-based LLMs. Наши и