Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics

#### Контекст На протяжении последних лет, применения генерирующих моделей в искусственном интеллекте (ИИ) позволили значительно расширить возможности в области создания текста, изображений и аудио. Однако эти генерирующие модели также привлекли к себе внимание из-за серьезных проблем с безопасностью данных. Одним из самых острых вопросов является **membership inference attack (MIA)**, при котором злоумышленник может определить, был ли конкретный элемент данных использован для обучения модели. Эти атаки подрывают приватность и подверждают модели риску использования несанкционированно. Хотя **diffusion models** в целом являются более устойчивыми к таким атакам по сравнению с другими типами моделей генеративного ИИ, они все равно остаются впахающими. Настоящая работа посвящена разработке метода защиты diffusion models, который бы помог снизить уязвимости к таким атакам. #### Метод Для защиты diffusion models проводилась разработка метода, основанного на критический-осциллирующих динамиках Ланжевина на высшем порядке. Этот подход включает в себя введение дополнительных переменных, которые делают процесс диффузии более сложным и микшируют внешний шум. Таким образом, внешний шум раньше затрудняет определение включения конкретных данных в обучающий набор. Техническая архитектура включает в себя введение аналитических подходов для моделирования диффузии, которые учитывают динамику этих дополнительных переменных. Это помогает смешать информацию о наличии конкретных объектов в обучающем наборе, что снижает вероятность успеха атаки. Методика была проверена на различных данных, включая игрушечные данные и речевые данные. Измерение эффективности было произведено с помощью кривых ROC (AUROC) и метрики FID. #### Результаты Конкретные эксперименты проводились на двух разных данных: игрушечном наборе и речевых данных. Оценка эффективности защиты была произведена с помощью кривых AUROC и метрики FID (Fréchet Inception Distance). Исследования показали, что метод критически-осциллирующих динамик Ланжевина выдает заметное улучшение в защите от MIA по сравнению с базовой моделью. Финальные результаты показали, что применение этого подхода приводит к снижению вероятности успеха атаки, так как внешний шум вводится раньше в процессе диффузии. Это позволяет скрыть включение конкретных данных в обучающий набор, что делает злоумышленникам более сложной задачу определения этого факта. #### Значимость Результаты доказали, что применение критически-осциллирующих динамик Ланжевина может значительно повысить устойчивость diffusion models к атакам на членство. Это приложение имеет широкий потен