📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Qinghua Yao, Xiangrui Xu, Zhize Li
## Контекст
В сфере искусственного интеллекта и машинного обучения возникла рост интереса к методам Vertical Federated Learning (VFL), который позволяет нескольким клиентам обучать модели по взаимозаменяемым данным, сохраняя приватность индивидуальных данных. Однако существуют два основных проблемы в существующих решениях. Во-первых, VFL требует точной координации примеров между клиентами, чтобы все они имели полные и совпадающие выборки данных. Это непрактично в реальной жизни, где данные часто не полны. Во-вторых, VFL не поддерживает локально независимую инференцию, что ограничивает возможности клиентов использовать модели для прогнозирования независимо от других клиентов. Данная работа ориентирована на развитие нового VFL-фреймворка, который бы решил эти проблемы.
## Метод
Предложенный фреймворк, названный X-VFL, решает эти проблемы с помощью двух основных модулей. **Cross Completion (XCom)** представляет собой метод, который использует информацию из других клиентов для заполнения пропусков в данных клиентов. Это позволяет сделать данные более полными и совместимыми. **Decision Subspace Alignment (DS-Align)** гарантирует, что модели клиентов подходят к глобальному решению, сохраняя локальную независимость. Также, в рамках X-VFL разработаны теоремы об устойчивости, подтверждающие эффективность алгоритмов обучения, в том числе SGD и PAGE, с коэффициентами сходимости $O(1/\sqrt{T})$ и $O(1/T)$ соответственно.
## Результаты
X-VFL был подвергнут тестированию на реальных данных, включая датасеты CIFAR-10 и MIMIC-III. На датасете CIFAR-10, X-VFL достиг 15% повышения точности в сравнении с основными методами. На датасете MIMIC-III, X-VFL показал 43% улучшение в производительности. Эти результаты указывают на способность X-VFL решать задачи, где данные не полные, и поддерживать локальную независимость, что делает его выдающимся в сложностях, связанных с федеративным обучением.
## Значимость
Предлагаемый подход открывает новые горизонты для федеративного обучения в ситуациях, где данные не полны и требуется локальная независимость. X-VFL может применяться в различных областях, таких как медицина, финансы и интернет-технологии, где необходимо совместное обучение моделей, сохраняя приватность данных. Это решение повышает эффективность, устраняет ограничения существующих методов и демонстрирует перспективу в области федеративного обучения.
## Выводы
Разработанный X-VFL представляет собой прорыв в области Vertical Federated Learning. Он способен решать ключевые проблемы, такие как отсутствие полных данных и необходимость локальных моделей, что увеличивает его применимость в реальных ситуациях. Буду
Annotation:
Vertical Federated Learning (VFL) enables collaborative learning by
integrating disjoint feature subsets from multiple clients/parties. However,
VFL typically faces two key challenges: i) the requirement for perfectly
aligned data samples across all clients (missing features are not allowed); ii)
the requirement for joint collaborative inference/prediction involving all
clients (it does not support locally independent inference on a single client).
To address these challenges, we propose X-VFL, ...
Авторы:
Qinghua Yao, Xiangrui Xu, Zhize Li
Многоклиентское обучение глубоких нейронных сетей с отсутствием части признаков широко распространено в практике, но находится в узкой области научных исследований. Одним из основных задач решения данной проблемы являются выравнивание признаков и поддержка локального обучения. В статье предлагается X-VFL — новый подход к вертикальному федеративному обучению (VFL), который устраняет эти ограничения. X-VFL включает два ключевых модуля: Cross Completion (XCom) для построения загруженных признаков недостающих данных, и Decision Subspace Alignment (DS-Align) для выравнивания локальных признаков в глобальном пространстве. Теоретические результаты показывают, что X-VFL обеспечивает эффективное обучение за счет $O(1/\sqrt{T})$ для SGD-типа и $O(1/T)$ для PAGE-типа. Эксперименты на реальных данных (CIFAR-10 и MIMIC-III) продемонстрировали значительные улучшения в достижении точности в 15% и 43% соответственно, что подтверждает практическую эффективность X-VFL в решении задач с отсутствием признаков и независимым локальным обучением.
Annotation:
Vertical Federated Learning (VFL) enables collaborative learning by
integrating disjoint feature subsets from multiple clients/parties. However,
VFL typically faces two key challenges: i) the requirement for perfectly
aligned data samples across all clients (missing features are not allowed); ii)
the requirement for joint collaborative inference/prediction involving all
clients (it does not support locally independent inference on a single client).
To address these challenges, we propose X-VFL, ...