FedKLPR: Personalized Federated Learning for Person Re-Identification with Adaptive Pruning
2508.17431v1
cs.CV, cs.AI, cs.LG
2025-08-27
Авторы:
Po-Hsien Yu, Yu-Syuan Tseng, Shao-Yi Chien
Резюме на русском
## Контекст
Персональная рекогниция персонажей (Person Re-Identification, Re-ID) является ключевым заданием в сфере интеллектуального видеомониторинга и обеспечения общественной безопасности. Классические подходы к этой задаче требуют централизованного обработки больших массивов данных, что создает риски для конфиденциальности и требует высоких ресурсов. Федеративное обучение (Federated Learning, FL) предлагает альтернативу, обеспечивая коллективное обучение моделей без централизованного хранения данных. Однако реализация FL в реальных системах Re-ID сталкивается с двумя основными проблемами: статистической неоднородностью клиентских данных (non-IID) и высоким объемом связи из-за частых передач больших моделей. Целью этой работы является разработка эффективного и экономичного фреймворка для решения этих проблем в контексте Re-ID.
## Метод
FedKLPR предлагает новый фреймворк для федеративного обучения, оптимизированный для задач Re-ID. Основной инновацией является **Контроль Дивергенции Кантора-Лебега (KLL)**, который регулирует ошибки клиентских моделей в соответствии с глобальной функцией распределения. **Адаптивная Агрегация с Привязкой к Приращению (KLPWA)** включает в себя новую методику агрегации моделей, учитывающую как дивергенцию, так и размер моделей, чтобы обеспечить стабильность и эффективность. Для снижения объемов передаваемых данных вводится **Спарсинг активаций (SAS)**, который исключает нулевые веса из процесса обновления. Наконец, **Восстановление Кругового Раунда (CRR)** позволяет регулировать прайминг в зависимости от текущих требований, обеспечивая высокую точность при глубоком сжатии модели.
## Результаты
Используя 8 бенчмарковых наборов данных, эксперименты показали, что FedKLPR существенно сокращает объем передачи данных. По сравнению с современными методами, FedKLPR уменьшает **33% - 38%** издержек связи при использовании ResNet-50 и **20% - 40%** при использовании ResNet-34, сохранив точность модели на уровне **<1%** от состояния лучшего результата. Эти результаты демонстрируют высокую эффективность FedKLPR в обеспечении связи, минимизации проблем неоднородности данных и сохранении точности модели Re-ID.
## Значимость
Разработанный подход может быть применен в системах обеспечения общественной безопасности, интеллектуального видеомониторинга и безопасности транспорта. Он обеспечивает значительную экономию ресурсов связи, улучшает сохранение конфиденциальности данных и поддерживает высокую точность моделей Re-ID. Благодаря использованию адаптивных методов, FedKLPR может быть использован в реальных
Abstract
Person re-identification (Re-ID) is a fundamental task in intelligent
surveillance and public safety. Federated learning (FL) offers a
privacy-preserving solution by enabling collaborative model training without
centralized data collection. However, applying FL to real-world re-ID systems
faces two major challenges: statistical heterogeneity across clients due to
non-IID data distributions, and substantial communication overhead caused by
frequent transmission of large-scale models. To address these issues, we
propose FedKLPR, a lightweight and communication-efficient federated learning
framework for person re-identification. FedKLPR introduces four key components.
First, the KL-Divergence Regularization Loss (KLL) constrains local models by
minimizing the divergence from the global feature distribution, effectively
mitigating the effects of statistical heterogeneity and improving convergence
stability under non-IID conditions. Secondly, KL-Divergence-Prune Weighted
Aggregation (KLPWA) integrates pruning ratio and distributional similarity into
the aggregation process, thereby improving the robustness of the global model
while significantly reducing communication overhead. Furthermore, sparse
Activation Skipping (SAS) mitigates the dilution of critical parameters during
the aggregation of pruned client models by excluding zero-valued weights from
the update process. Finally, Cross-Round Recovery (CRR) introduces a dynamic
pruning control mechanism that halts pruning when necessary, enabling deeper
compression while maintaining model accuracy. Experimental results on eight
benchmark datasets demonstrate that FedKLPR achieves significant communication
reduction. Compared with the state-of-the-art, FedKLPR reduces 33\%-38\%
communication cost on ResNet-50 and 20\%-40\% communication cost on ResNet-34,
while maintaining model accuracy within 1\% degradation.
Ссылки и действия
Дополнительные ресурсы: