Sequentially Auditing Differential Privacy
2509.07055v1
cs.CR, cs.LG, stat.ME
2025-09-11
Авторы:
Tomás González, Mateo Dulce-Rubio, Aaditya Ramdas, Mónica Ribero
Резюме на русском
## Контекст
**Область исследования:** Дифференциальная приватность (Differential Privacy, DP) является ключевым подходом для защиты частной информации в анализе данных. Она обеспечивает меру защиты, позволяя выполнять анализ данных без раскрытия индивидуальных данных. Однако на практике могут возникать ситуации, когда алгоритмы DP не соблюдают заявленные гарантии безопасности, что может привести к утечке чувствительной информации.
**Проблемы и мотивация:** Несмотря на значительные достижения в дифференциальной приватности, существуют трудности в проверке соблюдения гарантий DP. Традиционные методы, такие как батч-аудит, требуют большого количества выборок, что ограничивает их эффективность в реальном времени. Мотивация заключается в разработке подхода, позволяющего эффективно и в реальном времени проверять соблюдение DP в процессе его применения.
## Метод
**Описание методологии:** Разработан последовательный тест (sequentially auditing), позволяющий проверять гарантии DP в реальном времени. Этот подход основывается на потоковом анализе процесса генерирования данных и обеспечивает **anytime-valid inference**, что означает, что выводы могут быть действительными в любой момент времени. Метод эффективно контролирует **Type I error** (ложноположительные выводы), что является важной особенностью для надежности.
**Технические решения и архитектура:** Алгоритм использует потоковые данные, что позволяет проводить проверки в любой момент. Это решает проблему фиксированного размера выборки, которая характерна для традиционных методов. Технический подход включает в себя моделирование потока выводов механизма DP и применение статистических методов для выявления несоответствий.
## Результаты
**Эксперименты и данные:** Исследования проводились на различных реалистичных механизмах DP, включая DP-SGD (Differentially Private Stochastic Gradient Descent). Набор данных включал ситуации, в которых DP-гарантии не соблюдались. Результаты показали, что последовательный тест обнаруживает нарушения DP с минимальным числом выборок, что значительно превосходит эффективность традиционных методов.
**Результаты сравнения:** Например, при выявлении нарушений DP-SGD метод потребовал всего одной итерации обучения вместо необходимости выполнить весь процесс обучения, как требуются традиционные методы. Это позволяет экономить ресурсы и уменьшать время проверки.
## Значимость
**Области применения:** Этот подход может быть применен в ситуациях, когда необходимо реальное время мониторинга соблюдения DP в течение вычислительных процессов. Например, в системах машинного обучения, где гарантии приватности должны быть видимы в реальном
Abstract
We propose a practical sequential test for auditing differential privacy
guarantees of black-box mechanisms. The test processes streams of mechanisms'
outputs providing anytime-valid inference while controlling Type I error,
overcoming the fixed sample size limitation of previous batch auditing methods.
Experiments show this test detects violations with sample sizes that are orders
of magnitude smaller than existing methods, reducing this number from 50K to a
few hundred examples, across diverse realistic mechanisms. Notably, it
identifies DP-SGD privacy violations in \textit{under} one training run, unlike
prior methods needing full model training.
Ссылки и действия
Дополнительные ресурсы: