Enhancing Privacy in Decentralized Min-Max Optimization: A Differentially Private Approach

#### Контекст Децентрализованная минимакс-оптимизация представляет собой мощный подход для решения взаимодействующих многоагентных систем. Она позволяет агентам обмениваться модельными обновлениями для решения глобальных проблем минимакс-оптимизации без необходимости доверять центральному серверу. Однако этот подход не без проблем. Взаимодействие между агентами может повлечь за собой раскрытие чувствительных данных в результате нежелательных взаимодействий, что приводит к повышению риска информационных атак. Это влечет за собой критические вопросы безопасности и соблюдения приватности. Наряду с этим, развитие машинного обучения в сложных ненормальных ситуациях влечет за собой новые вопросы использования методов, которые могут способствовать улучшенному соотношению производительности и чувствительности. Эти факторы мотивируют глубокое исследование новых методов, которые могут оптимизировать сочетание эффективности и приватности в системах минимакс-оптимизации. #### Метод Мы предлагаем DPMixSGD (Differential Private Minmax Hybrid Stochastic Gradient Descent), алгоритм, который модифицирует стандартный градиентный спуск, добавляя дифференциальную приватность к локальным градиентам. Наш метод основывается на STORM-based algorithm, который является одним из наиболее эффективных вариантов для децентрализованных задач минимакс-оптимизации. DPMixSGD использует гибридный подход, который сочетает шумное сглаживание градиентов с адаптивным методом для поддержания глобальной сходимости. Мы выполнили тщательную аналитическую модель, доказав, что при добавлении уровня шума, необходимого для достижения дифференциальной приватности, модель сохраняет почти тот же уровень точности и сходимости, чем в алгоритме без шума. Также мы реализовали концепцию "минимакс-оптимизации" в системе, которая продемонстрировала способность быстро решать глобальные минимакс-задачи, даже при условии сложной интерактивности агентов. #### Результаты Мы проверили эффективность DPMixSGD на широком спектре задач минимакс-оптимизации, включая задачи сложной интерактивности, такие как задачи обнаружения изображений в условиях шума и задачи регрессии в сетях нейронных сетей. Наши эксперименты показали, что DPMixSGD не только сохраняет высокую точность решения, но и подтверждает гарантии достаточной приватности данных. Мы также провели сравнительные эксперименты с другими алгоритмами, такими как DPSGD и SGD, и показали, что DPMixSGD превосходит их в скорости и точности решения. Результаты показали, что DPMixSGD может обеспечить достаточный уровень приватности, не существенно замедляя процесс решения задач.