X-VFL: A New Vertical Federated Learning Framework with Cross Completion and Decision Subspace Alignment
2508.05568v1
cs.LG, cs.CV, cs.DC, math.OC
2025-08-09
Авторы:
Qinghua Yao, Xiangrui Xu, Zhize Li
Резюме на русском
Многоклиентское обучение глубоких нейронных сетей с отсутствием части признаков широко распространено в практике, но находится в узкой области научных исследований. Одним из основных задач решения данной проблемы являются выравнивание признаков и поддержка локального обучения. В статье предлагается X-VFL — новый подход к вертикальному федеративному обучению (VFL), который устраняет эти ограничения. X-VFL включает два ключевых модуля: Cross Completion (XCom) для построения загруженных признаков недостающих данных, и Decision Subspace Alignment (DS-Align) для выравнивания локальных признаков в глобальном пространстве. Теоретические результаты показывают, что X-VFL обеспечивает эффективное обучение за счет $O(1/\sqrt{T})$ для SGD-типа и $O(1/T)$ для PAGE-типа. Эксперименты на реальных данных (CIFAR-10 и MIMIC-III) продемонстрировали значительные улучшения в достижении точности в 15% и 43% соответственно, что подтверждает практическую эффективность X-VFL в решении задач с отсутствием признаков и независимым локальным обучением.
Abstract
Vertical Federated Learning (VFL) enables collaborative learning by
integrating disjoint feature subsets from multiple clients/parties. However,
VFL typically faces two key challenges: i) the requirement for perfectly
aligned data samples across all clients (missing features are not allowed); ii)
the requirement for joint collaborative inference/prediction involving all
clients (it does not support locally independent inference on a single client).
To address these challenges, we propose X-VFL, a new VFL framework designed to
deal with the non-aligned data samples with (partially) missing features and to
support locally independent inference of new data samples for each client. In
particular, we design two novel modules in X-VFL: Cross Completion (XCom) and
Decision Subspace Alignment (DS-Align). XCom can complete/reconstruct missing
features for non-aligned data samples by leveraging information from other
clients. DS-Align aligns local features with completed and global features
across all clients within the decision subspace, thus enabling locally
independent inference at each client. Moreover, we provide convergence theorems
for different algorithms used in training X-VFL, showing an $O(1/\sqrt{T})$
convergence rate for SGD-type algorithms and an $O(1/T)$ rate for PAGE-type
algorithms, where $T$ denotes the number of training update steps. Extensive
experiments on real-world datasets demonstrate that X-VFL significantly
outperforms existing methods, e.g., achieving a 15% improvement in accuracy on
the image CIFAR-10 dataset and a 43% improvement on the medical MIMIC-III
dataset. These results validate the practical effectiveness and superiority of
X-VFL, particularly in scenarios involving partially missing features and
locally independent inference.