X-VFL: A New Vertical Federated Learning Framework with Cross Completion and Decision Subspace Alignment
2508.05568v2
cs.LG, cs.CV, cs.DC, math.OC
2025-08-11
Авторы:
Qinghua Yao, Xiangrui Xu, Zhize Li
Резюме на русском
## Контекст
В сфере искусственного интеллекта и машинного обучения возникла рост интереса к методам Vertical Federated Learning (VFL), который позволяет нескольким клиентам обучать модели по взаимозаменяемым данным, сохраняя приватность индивидуальных данных. Однако существуют два основных проблемы в существующих решениях. Во-первых, VFL требует точной координации примеров между клиентами, чтобы все они имели полные и совпадающие выборки данных. Это непрактично в реальной жизни, где данные часто не полны. Во-вторых, VFL не поддерживает локально независимую инференцию, что ограничивает возможности клиентов использовать модели для прогнозирования независимо от других клиентов. Данная работа ориентирована на развитие нового VFL-фреймворка, который бы решил эти проблемы.
## Метод
Предложенный фреймворк, названный X-VFL, решает эти проблемы с помощью двух основных модулей. **Cross Completion (XCom)** представляет собой метод, который использует информацию из других клиентов для заполнения пропусков в данных клиентов. Это позволяет сделать данные более полными и совместимыми. **Decision Subspace Alignment (DS-Align)** гарантирует, что модели клиентов подходят к глобальному решению, сохраняя локальную независимость. Также, в рамках X-VFL разработаны теоремы об устойчивости, подтверждающие эффективность алгоритмов обучения, в том числе SGD и PAGE, с коэффициентами сходимости $O(1/\sqrt{T})$ и $O(1/T)$ соответственно.
## Результаты
X-VFL был подвергнут тестированию на реальных данных, включая датасеты CIFAR-10 и MIMIC-III. На датасете CIFAR-10, X-VFL достиг 15% повышения точности в сравнении с основными методами. На датасете MIMIC-III, X-VFL показал 43% улучшение в производительности. Эти результаты указывают на способность X-VFL решать задачи, где данные не полные, и поддерживать локальную независимость, что делает его выдающимся в сложностях, связанных с федеративным обучением.
## Значимость
Предлагаемый подход открывает новые горизонты для федеративного обучения в ситуациях, где данные не полны и требуется локальная независимость. X-VFL может применяться в различных областях, таких как медицина, финансы и интернет-технологии, где необходимо совместное обучение моделей, сохраняя приватность данных. Это решение повышает эффективность, устраняет ограничения существующих методов и демонстрирует перспективу в области федеративного обучения.
## Выводы
Разработанный X-VFL представляет собой прорыв в области Vertical Federated Learning. Он способен решать ключевые проблемы, такие как отсутствие полных данных и необходимость локальных моделей, что увеличивает его применимость в реальных ситуациях. Буду
Abstract
Vertical Federated Learning (VFL) enables collaborative learning by
integrating disjoint feature subsets from multiple clients/parties. However,
VFL typically faces two key challenges: i) the requirement for perfectly
aligned data samples across all clients (missing features are not allowed); ii)
the requirement for joint collaborative inference/prediction involving all
clients (it does not support locally independent inference on a single client).
To address these challenges, we propose X-VFL, a new VFL framework designed to
deal with the non-aligned data samples with (partially) missing features and to
support locally independent inference of new data samples for each client. In
particular, we design two novel modules in X-VFL: Cross Completion (XCom) and
Decision Subspace Alignment (DS-Align). XCom can complete/reconstruct missing
features for non-aligned data samples by leveraging information from other
clients. DS-Align aligns local features with completed and global features
across all clients within the decision subspace, thus enabling locally
independent inference at each client. Moreover, we provide convergence theorems
for different algorithms used in training X-VFL, showing an $O(1/\sqrt{T})$
convergence rate for SGD-type algorithms and an $O(1/T)$ rate for PAGE-type
algorithms, where $T$ denotes the number of training update steps. Extensive
experiments on real-world datasets demonstrate that X-VFL significantly
outperforms existing methods, e.g., achieving a 15% improvement in accuracy on
the image CIFAR-10 dataset and a 43% improvement on the medical MIMIC-III
dataset. These results validate the practical effectiveness and superiority of
X-VFL, particularly in scenarios involving partially missing features and
locally independent inference.