Tackling Federated Unlearning as a Parameter Estimation Problem

## Контекст Современные технологии сталкиваются с вопросами защиты персональных данных и соблюдения законодательства в области конфиденциальности. Например, законы GDPR и CCPA требуют, чтобы организации эффективно удаляли личные данные по запросу пользователей. Эта проблема особенно актуальна в рамках **Federated Learning**, где данные остаются на клиентских устройствах, что создает сложности в полной переобучении моделей. **Federated Unlearning** — это новая область исследований, стремящаяся разработать методы эффективного удаления данных из моделей без полной переустановки. Наша работа ставит задачу оптимизировать процесс удаления данных, снизив потребность в ресурсах и сохранив высокую точность модели. ## Метод Мы предлагаем **метод моделирования удаления данных как задачи оценки параметров**. Наш подход основывается на **теории информации** и использует **второй порядок гессианских информаций** для идентификации параметров, наиболее восприимчивых к удаляемым данным. Это позволяет ограничить актуальность удаления только определенным клиентом или категории данных. Далее, мы применяем **федеративное периодическое обучение** для минимального восстановления модели. Наша техника является **модельно-независимой** и не требует доступа к неагрегированным данным клиентов после инциальной агрегации. Основная идея заключается в том, чтобы эффективно забывать данные, не теряя в качестве модели. ## Результаты Мы проводили эксперименты на нескольких **benchmark-датасетах** (таких как CIFAR-10 и CIFAR-100), использовав **методы машинного обучения**, такие как глубокие нейронные сети. Наши результаты показывают, что: 1. **Удаление данных**: Успешность стороннего теста возврата данных (Membership Inference Attack, MIA) приближается к случайному значению, что указывает на эффективность удаления. 2. **Точность**: Точность модели после удаления данных остается высокой, приблизительно 0,9 в сравнении с переобученной моделью. 3. **Эффективность**: Наш метод экономит до 90% ресурсов по сравнении с полным переобучением. 4. **Безопасность**: Мы проверили нашу технику в условиях **targeted backdoor attack** и продемонстрировали ее эффективность в безопасном восстановлении модели после атаки. ## Значимость Наш подход имеет **широкие области применения**, включая банковское и медицинское приложения, где требуется строгая защита конфиденциальных данных. Он обеспечивает: 1. **Повышение безопасности**: Удаление данных происходит без необходимости доступа к неагрегированным данным клиентов. 2. **Эффективность**: Минимальное время обучения по сравнении с полной переустановкой. 3. **Кросс-прилож