The Sample Complexity of Membership Inference and Privacy Auditing
2508.19458v1
cs.LG, cs.CR, stat.ML
2025-08-30
Авторы:
Mahdi Haghifam, Adam Smith, Jonathan Ullman
Резюме на русском
#### Контекст
В последние годы становится все более очевидным, что машинное обучение (ML) может становиться источником угроз для частных данных своих пользователей. Одним из ключевых аспектов этой угрозы является **атака методом включения в выборку (membership inference attack)**, при которой злоумышленник пытается определить, входит ли конкретный объект в обучающую выборку использованной модели. Несмотря на то, что эти атаки были во многом исследованы, остается открытым вопрос о том, насколько много больше данных нужно атакующему, чем используется тренировочной модели. В настоящей работе мы рассматриваем вопрос с точки зрения **сложности выборки (sample complexity)**, то есть минимального числа дополнительных примеров (ссылочных выборок), необходимых для успешного выполнения attack. Область исследования — **оценка среднего значения гауссовского распределения**, где целью является оценка среднего $\mu$ с ограниченной ошибкой. Этот вопрос имеет решающее значение для понимания уязвимости ML-систем и разработки эффективных мер защиты.
#### Метод
Мы применяем **теоретический подход** для анализа сложности выборки в контексте атак на членство. Наша модель предполагает, что злоумышленнику доступны **ссылочные выборки** из одного и того же распределения, но без предварительного знания о деталях обучающей выборки. Мы формализуем сложность выборки как **минимальное число ссылочных примеров**, необходимое для того, чтобы атакующий мог существенно превосходить случайного атакующего, который не имеет доступа к дополнительным данным. Основной фокус — вопрос того, насколько большой объем дополнительных данных нужен для того, чтобы злоумышленник мог успешно определить включение конкретного объекта в тренировочную выборку. Мы показываем, что для этой задачи **хотя бы $\Omega(n + n^2 \rho^2)$ ссылочных примеров** могут быть необходимы, где $n$ — число примеров в обучающей выборке, а $\rho$ — ограничение на ошибку оценки среднего. Это значит, что необходимо **больше данных**, чем используется в самой модели.
#### Результаты
Мы проводим эксперименты на гипотетических данных, подтверждая что **$\Omega(n + n^2 \rho^2)$-результат** действителен, даже для оптимального атакующего алгоритма. Наши результаты показывают, что **дополнительные ссылочные данные** действительно дают злоумышленнику серьезную преимущество, особенно когда разница между выборкой и распределением небольшая. Это **первое утверждение**, что у атакующего может потребоваться **больше данных**, чем используется в обучении модели. Наша работа также показывает, что **ограничения на количество данных** могут негативно сказываться на безопасност
Abstract
A membership-inference attack gets the output of a learning algorithm, and a
target individual, and tries to determine whether this individual is a member
of the training data or an independent sample from the same distribution. A
successful membership-inference attack typically requires the attacker to have
some knowledge about the distribution that the training data was sampled from,
and this knowledge is often captured through a set of independent reference
samples from that distribution. In this work we study how much information the
attacker needs for membership inference by investigating the sample
complexity-the minimum number of reference samples required-for a successful
attack. We study this question in the fundamental setting of Gaussian mean
estimation where the learning algorithm is given $n$ samples from a Gaussian
distribution $\mathcal{N}(\mu,\Sigma)$ in $d$ dimensions, and tries to estimate
$\hat\mu$ up to some error $\mathbb{E}[\|\hat \mu - \mu\|^2_{\Sigma}]\leq
\rho^2 d$. Our result shows that for membership inference in this setting,
$\Omega(n + n^2 \rho^2)$ samples can be necessary to carry out any attack that
competes with a fully informed attacker. Our result is the first to show that
the attacker sometimes needs many more samples than the training algorithm uses
to train the model. This result has significant implications for practice, as
all attacks used in practice have a restricted form that uses $O(n)$ samples
and cannot benefit from $\omega(n)$ samples. Thus, these attacks may be
underestimating the possibility of membership inference, and better attacks may
be possible when information about the distribution is easy to obtain.
Ссылки и действия
Дополнительные ресурсы: