CoUn: Empowering Machine Unlearning via Contrastive Learning

#### Контекст Современные методы машинного обучения часто основываются на больших объемах данных, которые могут включать конфиденциальные или нежелательные данные. В ситуациях, когда пользователи или организации хотят удалить эти данные из модели без влияния на остальные данные, возникает потребность в методах машинного "учения" (machine unlearning, MU). Несмотря на то что существуют существующие подходы, такие как манипуляции с метками или изменения весов модели, они часто инэффективны или слишком затратны. Наша мотивация заключается в разработке более эффективного и универсального подхода к MU, который мог бы надежно удалять данные без ущерба для остальных. #### Метод Мы предлагаем CoUn, новый подход к MU, который основывается на идее, что модель, обученная с нуля на основе только "сохраняемых" данных, может точно классифицировать "удаляемые" данные. Это достигается благодаря использованию контрастного обучения (contrastive learning, CL) и супервизированного обучения. Метод CoUn (1) использует контрастное обучение, чтобы приближать семантическое подклассификацию объектов "данных для удаления" к тем, которые остаются в модели, и (2) применяет супервизированное обучение, чтобы сохранить структуру данных, которые остаются в модели. Это позволяет CoUn надежно удалять данные без искажения остальных данных. #### Результаты Мы проверили CoUn на нескольких датасетах, включая CIFAR-10 и CIFAR-100, используя модели, такие как ResNet и DenseNet. Наши эксперименты показали, что CoUn превосходит существующие подходы в силу его эффективности в MU. Например, CoUn позволил достичь до 30% улучшения в сравнении с базовым подходом, при этом сохраняя качество классификации для оставшихся данных. Мы также проверили, насколько эффективно можно интегрировать наш CL-модуль в существующие MU-методы, показав, что это может повысить их производительность. #### Значимость Помимо того, что CoUn эффективен, он также обладает широкими потенциальными применениями в областях, где важно соблюдать конфиденциальность данных, таких как здравоохранение, финансы и безопасность. Наш подход обеспечивает более надежный и менее затратный способ удаления данных, чем существующие решения. Кроме того, повышенная эффективность CoUn в MU может повлиять на развитие новых методов шифрования и безопасности в машинном обучении. #### Выводы Мы представили CoUn, новый подход к MU, который основывается на контрастном обучении и супервизированном обучении. Мы показали, что наш подход превосходит существующие методы, при этом сохраняя качество классификации для "удерживаемых" данных. Будущие исследования будут сфокусированы на расширении этого подхода