Stabilization of Perturbed Loss Function: Differential Privacy without Gradient Noise

################################# ## Контекст ################################# Изучение методов обучения моделей с применением дифференциальной частной сохранности (Differential Privacy, DP) является ключевым в сфере машинного обучения в условиях защиты конфиденциальности данных. Одним из широко распространенных подходов является **Differentially Private Stochastic Gradient Descent (DP-SGD)**, который добавляет шум к градиентам лосса функции во время обучения. Однако данный подход имеет значительные ограничения: шумность градиентов приводит к ухудшению качества модели и требует значительных вычислительных ресурсов. Другим важным аспектом является поддержка многопользовательских сред, где каждый пользователь должен обеспечивать защиту своих данных. Направлением исследования является создание методов, которые обеспечивают эффективность, устойчивость и защиту конфиденциальности в таких средах. ################################# ## Метод ################################# Рассматривается метод **Stabilization of Perturbed Loss Function (SPOF)**, предназначенный для обучения моделей в многопользовательских средах с использованием **локальной дифференциальной частности (Local Differential Privacy, LDP)**. SPOF использует полиномиальную аппроксимацию тренировочного функционала потерь, потенциально сужающуюся до полинома 2-го порядка. Шум, добавляемый для обеспечения LDP, распределяется по коэффициентам этого полинома. Эта модель отличается от DP-SGD тем, что не требует добавления шума к градиентам, что упрощает вычисления и повышает стабильность. Метод SPOF также обладает робастностью к искажениям входных данных и корректирует зависимость от чувствительности к условиям окружения, таких как шум от биологических сенсоров в Wireless Body Area Network (WBAN). ################################# ## Результаты ################################# В ходе экспериментов SPOF был подвергнут сравнению с многопользовательской версией DP-SGD в ситуации с множеством пользователей, имеющих различные типы данных и подвержденным шумам сенсоров в WBAN. Результаты показали, что SPOF демонстрирует более высокую точность реконструкции модели (до 3.5% в сравнении с DP-SGD) и значительно сокращает время обучения — до 57.2%. Это указывает на более эффективный баланс между защитой конфиденциальности и качеством обучения. Отмечено, что SPOF лучше справляется с шумом входных данных и характеризуется более точной аппроксимацией функции потерь. ################################# ## Значимость ################################# SPOF показывает свою применимость в сценариях многопользовательского обучения, где необходима эффективная защита конфиденциальности (LDP) и высокая модельная точность. Его преимущества заключаются в улучшенном балансе между защитой конфиденциальности и качеством обучения, низких вычислительными затратами и устойчивости к внешним помехам. Данный по