DRAG: Data Reconstruction Attack using Guided Diffusion
2509.11724v1
cs.LG, cs.CV
2025-09-17
Авторы:
Wa-Kin Lei, Jun-Cheng Chen, Shang-Tse Chen
Резюме на русском
#### Контекст
С момента возникновения больших фундаментальных моделей, разделённое выполнение (SI) возникло как одна из популярных моделей для развёртывания моделей между устройствами на границе и облачными серверами. Она решает проблемы конфиденциальности данных и вычислительных затрат. Несмотря на то, что ранее были разработаны методы по реконструкции данных, они ограничивались мелкими классификационными моделями, в то время как риски для больших фундаментальных моделей в рамках SI были мало изучены. Данная работа предлагает новый метод реконструкции данных, основанный на руководственной диффузии, который использует богатую предварительную знания, заложенную в глубоко предварительно обученную модели глубокой диффузии. Этот подход использует итеративную реконструкцию в рамках полученных образов, позволяя воссоздать высококачественные изображения, аналогичные исходным, из своих промежуточных представлений (IR).
#### Метод
Метод DRAG основывается на руководственной диффузии, которая использует предварительно обученную модель глубокой диффузии. Эта модель включает богатые предварительные знания, позволяющие восстанавливать высококачественные изображения. Метод DRAG выполняет итеративную реконструкцию промежуточных представлений (IR), используя эту модель. Результатом являются изображения, которые тесно похожи на исходные. Эта методика позволяет улучшить качество реконструкции в сравнении с другими методами. Архитектура основана на диффузионных методах, которые позволяют получить результат, который может быть использован для оценки конфиденциальности данных.
#### Результаты
Для проверки DRAG были проведены несколько экспериментов, используя различные изображения и промежуточные представления. Результаты показали, что DRAG показывает высокую точность в реконструкции данных, превосходя другие методы. Эксперименты демонстрируют, что DRAG в значительной степени существенно превышает текущие методы по точности и качеству реконструированных образов. Это демонстрирует значительный более высокий уровень реконструкции, что свидетельствует о важности развития более надежных методов защиты данных в ситуациях SI.
#### Значимость
Результаты DRAG могут быть применены в различных областях, включая защиту конфиденциальности данных, где требуется восстановление изображений. Также, это может быть применено в области развития безопасности в развёртывании моделей в средах SI. Данный подход предоставляет преимущества, такие как улучшенное качество реконструкции, а также повышение эффективности и конфиденциальности. Потенциальное влияние заключается
Abstract
With the rise of large foundation models, split inference (SI) has emerged as
a popular computational paradigm for deploying models across lightweight edge
devices and cloud servers, addressing data privacy and computational cost
concerns. However, most existing data reconstruction attacks have focused on
smaller CNN classification models, leaving the privacy risks of foundation
models in SI settings largely unexplored. To address this gap, we propose a
novel data reconstruction attack based on guided diffusion, which leverages the
rich prior knowledge embedded in a latent diffusion model (LDM) pre-trained on
a large-scale dataset. Our method performs iterative reconstruction on the
LDM's learned image prior, effectively generating high-fidelity images
resembling the original data from their intermediate representations (IR).
Extensive experiments demonstrate that our approach significantly outperforms
state-of-the-art methods, both qualitatively and quantitatively, in
reconstructing data from deep-layer IRs of the vision foundation model. The
results highlight the urgent need for more robust privacy protection mechanisms
for large models in SI scenarios. Code is available at:
https://github.com/ntuaislab/DRAG.
Ссылки и действия
Дополнительные ресурсы: