Towards Reliable and Generalizable Differentially Private Machine Learning (Extended Version)
2508.15141v1
cs.LG, cs.CR
2025-08-23
Авторы:
Wenxuan Bao, Vincent Bindschaedler
Резюме на русском
## Контекст
Машинное обучение с дифференциальной приватностью (DPML) является ключевым подходом для создания моделей, которые могут использоваться в защищенных сценариях, обеспечивая конфиденциальность данных использования. Несмотря на появление многочисленных новых техник DPML, нет единого согласия о том, какие из них наиболее эффективны и могут быть приняты в широкую практику. Одной из основных проблем является несогласованность в реализациях, данных и методологиях, что сделало невозможным проведение сравнительных исследований. Это проблема становится критичной в свет роста внимания к приватности данных и требованиям к надежности и предсказуемости методов DPML. Целью настоящего исследования является проверка надежности и общеприменимости существующих техник DPML, а также поиск наилучших практик для получения надежных и внедримых в реальные сценарии результатов.
## Метод
Мы провели эксперимент на 11 ключевых техниках DPML, известных своими современными результатами. Для этого мы реализовали все техники в одной стандартной кодовой базе, чтобы гарантировать последовательность в экспериментах. Для каждой техники были проведены эксперименты на одних и тех же данных, чтобы получить сравнимые результаты. Также мы использовали разные архитектуры моделей и параметры для анализа их влияния на результаты. Мы протестировали техники в разных условиях, включая разные уровни дифференциальной приватности и различные размеры данных, чтобы понять, насколько они общеприменимы.
## Результаты
Результаты экспериментов оказались разными. Некоторые техники демонстрировали надежность и хорошие результаты в разных условиях, соответствуя их оригинальным заявлениям. Однако большая часть техник показала существенные проблемы при применении вне оригинальных условий. Например, некоторые методы оказались сильно зависимы от конкретных данных или архитектур моделей, что снижало их общую эффективность. Мы также обнаружили, что дополнительная случайность, введенная дифференциальной приватностью, может привести к завышенным или недооцененным результатам, которые трудно сравнить с другими методами.
## Значимость
Наши результаты имеют практическое значение для разработчиков, ученых и пользователей, заинтересованных в DPML. Мы подчеркнули важность согласованных методологий и реализаций для правильной оценки техник. Наши выводы могут помочь в повышении надежности результатов и улучшении широкого применения DPML в реальных сценариях. Также мы выделили области, где могут быть проведены дополнительные исследования, например, в разработке новых методов, учитывающих сп
Abstract
There is a flurry of recent research papers proposing novel differentially
private machine learning (DPML) techniques. These papers claim to achieve new
state-of-the-art (SoTA) results and offer empirical results as validation.
However, there is no consensus on which techniques are most effective or if
they genuinely meet their stated claims. Complicating matters, heterogeneity in
codebases, datasets, methodologies, and model architectures make direct
comparisons of different approaches challenging.
In this paper, we conduct a reproducibility and replicability (R+R)
experiment on 11 different SoTA DPML techniques from the recent research
literature. Results of our investigation are varied: while some methods stand
up to scrutiny, others falter when tested outside their initial experimental
conditions. We also discuss challenges unique to the reproducibility of DPML,
including additional randomness due to DP noise, and how to address them.
Finally, we derive insights and best practices to obtain scientifically valid
and reliable results.
Ссылки и действия
Дополнительные ресурсы: