Decentralized Rank Scheduling for Energy-Constrained Multi-Task Federated Fine-Tuning in Edge-Assisted IoV Networks

2508.09532v1 cs.LG, cs.AI, cs.NI 2025-08-15
Авторы:

Bokeng Zheng, Jianqiang Zhong, Jiayi Liu, Xiaoxi Zhang

Резюме на русском

## Контекст Federated fine-tuning (FFT) является продвинутой методологией для адаптации фундаментальных моделей (FMs) к различным задачам в динамичных окружениях, таких как Интернет вещей (IoT), Интернет вещей на автомобилях (IoV) и др. Однако в IoV-сетях, где присутствуют узкие места, такие как мобильность клиентов, различия в ресурсах, нестабильность сетевого подключения, создается сложная задача для эффективной и низкозамедлительной адаптации моделей к новым задачам. Для решения этой проблемы необходимо разработать алгоритм, который учитывает эти ограничения и обеспечивает эффективное использование ресурсов во время адаптации. Таким образом, целью этой работы является разработка методологии, которая адаптирует модели в сетях IoV с учетом энергосберегающих, мобильных и многозадачных аспектов. ## Метод Мы предлагаем **двухуровневый федеративный подход** для адаптации моделей в IoV-сетях. Центральным концептом является **Low-Rank Adaptation (LoRA)**, которая позволяет изменять модель с минимальным потреблением ресурсов. Для оптимизации энергопотребления и мобильности вводится **децентрализованная механика адаптации ранга**, основанная на многократном исследовании (UCB-DUAL). Эта методика оптимизирует выбор ресурсов для каждой задачи в зависимости от её важности и доступности ресурсов. Для построения реального сценария IoV используются реальные траектории движения и характеристики сети. Наша архитектура включает в себя координацию между **roadside units (RSUs)** и **moving vehicles**, чтобы максимально эффективно распределить ресурсы и обеспечить стабильность в задачах многозадачного обучения. ## Результаты Мы проводили эксперименты на построенном симуляторе IoV, основанном на реальных данных. Исследовались различные сценарии с участием RSUs и мобильных устройств, включая различные уровни загрузки и сетевых помех. Результаты показали, что наш метод **повышает точность адаптированных моделей на 2,5%**, а также **уменьшает задержки на 24%** по сравнению с основными базовыми методами. Более того, наша алгоритмическая стратегия **LoRA с UCB-DUAL** демонстрирует лучшую энергоэффективность и выжимает ресурсы в сценариях с узкими маржами. Эти результаты подтверждают эффективность нашего подхода в условиях динамических сетей IoV. ## Значимость Предложенная методология может быть применена в различных сценариях **для поддержки адаптивных сетей в IoV**, включая сегментацию трафика, адаптивное управление трафиком и системы безопасности в рамках Интернета вещей. Этот подход позволяет значительно **улучшить эффек

Abstract

Federated fine-tuning has emerged as a promising approach for adapting foundation models (FMs) to diverse downstream tasks in edge environments. In Internet of Vehicles (IoV) systems, enabling efficient and low-latency multi-task adaptation is particularly challenging due to client mobility, heterogeneous resources, and intermittent connectivity. This paper proposes a hierarchical federated fine-tuning framework that coordinates roadside units (RSUs) and vehicles to support resource-aware and mobility-resilient learning across dynamic IoV scenarios. Leveraging Low-Rank Adaptation (LoRA), we introduce a decentralized, energy-aware rank adaptation mechanism formulated as a constrained multi-armed bandit problem. A novel UCB-DUAL algorithm is developed to enable adaptive exploration under per-task energy budgets, achieving provable sublinear regret. To evaluate our method, we construct a large-scale IoV simulator based on real-world trajectories, capturing dynamic participation, RSU handoffs, and communication variability. Extensive experiments show that our approach achieves the best accuracy-efficiency trade-off among all baselines, reducing latency by over 24\% and improving average accuracy by more than 2.5\%.

Ссылки и действия

Связанные статьи

Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering

## Контекст Графы широко применяются в различных областях, включая социальные сети, финансы и биоинформатику. Однако, п...

2025-09-20

Sample Efficient Experience Replay in Non-stationary Environments

#### Контекст Область исследования — reinforcement learning (RL) в нестационарных средах, где изменение динамики и возна...

2025-09-20