Privacy-Preserving Decentralized Federated Learning via Explainable Adaptive Differential Privacy
2509.10691v1
cs.CR, cs.AI
2025-09-17
Авторы:
Fardin Jalil Piran, Zhiling Chen, Yang Zhang, Qianyu Zhou, Jiong Tang, Farhad Imani
Резюме на русском
## Контекст
Decentralized federated learning (DFL) является важной архитектурой для обучения моделей на распределенных устройствах без центрального сервера. Он обеспечивает увеличение пропускной способности, сокращение задержек и повышение безопасности данных. Однако DFL не может полностью избежать рисков для конфиденциальности. Модели уязвимы к атакам на основе подсчета членства и интерпретации, которые могут извлечь конфиденциальные данные из обновленных моделей. Эти риски усиливаются с увеличением количества обменов данных. Для предотвращения этих проблем необходим принципиальный подход к обеспечению конфиденциальности. Дифференциальная частичность (DP) предлагает эффективные решения, внедряя структурированный шум для защиты конфиденциальных данных. Однако существуют проблемы с транспарентностью, которые могут привести к снижению точности и увеличению накладных расходов. Наша работа направлена на решение этих проблем, обеспечивая лучшую безопасность и эффективность.
## Метод
Мы предлагаем PrivateDFL, фреймворк, который комбинирует гиперинформационные вычисления (HD), дифференциальную частичность и транспарентные механизмы объяснения. Чтобы уменьшить риски, PrivateDFL использует адаптивную технику, которая учитывает шум, внедренный ранее клиентами во время обучения. Это позволяет каждому клиенту добавлять только необходимый шум, а не всего, что может потребоваться для гарантии безопасности. Также мы реализуем защиту от атак через гиперинформационные представления, которые создают компактные и устойчивые модели. Метод оценивается с помощью MNIST, ISOLET и UCI-HAR для представления изображений, звуковых сигналов и табличных данных. Мы используем бенчмаркинг с центральным обучением с помощью Differentially Private Stochastic Gradient Descent (DP-SGD) и Renyi Differential Privacy (RDP).
## Результаты
Показатели PrivateDFL показали значительные улучшения по сравнению с традиционными подходами. В частности, на MNIST PrivateDFL достиг 24.42% выше точности, чем Vision Transformer с центральным обучением DP-SGD, применяя при этом примерно 10 раз меньше времени для обучения, 76 раз меньше задержки и 11 раз меньшую энергозатрату. На ISOLET PrivateDFL превысил точность Transformer на 80%, применяя при этом примерно 10 раз меньше времени для обучения, 40 раз меньшую задержку и 36 раз меньшую энергозатрату. Эти результаты доказывают высокую эффективность PrivateDFL в ограниченных ресурсных условиях, таких как IoT-устройства, при сохранении формальной конфиденциальности.
## Значимость
PrivateDFL может применяться в различных областях, таких как здравоохранение, финансы и транспорт, где защита конфиденциаль
Abstract
Decentralized federated learning faces privacy risks because model updates
can leak data through inference attacks and membership inference, a concern
that grows over many client exchanges. Differential privacy offers principled
protection by injecting calibrated noise so confidential information remains
secure on resource-limited IoT devices. Yet without transparency, black-box
training cannot track noise already injected by previous clients and rounds,
which forces worst-case additions and harms accuracy. We propose PrivateDFL, an
explainable framework that joins hyperdimensional computing with differential
privacy and keeps an auditable account of cumulative noise so each client adds
only the difference between the required noise and what has already been
accumulated. We evaluate on MNIST, ISOLET, and UCI-HAR to span image, signal,
and tabular modalities, and we benchmark against transformer-based and deep
learning-based baselines trained centrally with Differentially Private
Stochastic Gradient Descent (DP-SGD) and Renyi Differential Privacy (RDP).
PrivateDFL delivers higher accuracy, lower latency, and lower energy across IID
and non-IID partitions while preserving formal (epsilon, delta) guarantees and
operating without a central server. For example, under non-IID partitions,
PrivateDFL achieves 24.42% higher accuracy than the Vision Transformer on MNIST
while using about 10x less training time, 76x lower inference latency, and 11x
less energy, and on ISOLET it exceeds Transformer accuracy by more than 80%
with roughly 10x less training time, 40x lower inference latency, and 36x less
training energy. Future work will extend the explainable accounting to
adversarial clients and adaptive topologies with heterogeneous privacy budgets.
Ссылки и действия
Дополнительные ресурсы: