Unleashing Uncertainty: Efficient Machine Unlearning for Generative AI

## Контекст Развитие генерирующего искусственного интеллекта (Generative AI) привело к появлению мощных моделей, таких как вариационные автоэнкодеры и диффузионные модели, которые могут генерировать высококачественные изображения и тексты. Однако эти модели часто обучаются на больших объемах данных, включающих разнообразные источники, включая конфиденциальные и нелегальные материалы. Это вызывает вопросы относительно конфиденциальности данных и прав авторства, так как пользователи могут запрашивать удаление или забыток определенных классов изображений или текстов. Недостаточность существующих методов машинного забытия (machine unlearning) в диффузионных моделях приводит к неэффективности, высоким затратам вычислений и рискуму. Метод SAFEMax (Selective Attention For Entropy Maximization) предлагается как решение этих проблем. ## Метод SAFEMax основывается на информационно-теоретических принципах, которые максимизируют энтропию генерируемых изображений. Для этого метод активно нарушает контроль над выходом модели, добиваясь того, чтобы модель генерировала шум в форме нормального распределения при обработке классов, запрошенных для забытия. Основная идея заключается в том, что при выполнении условия забытия SAFEMax логически прекращает работу модели на поздних этапах диффузионного процесса, когда генерируемые изображения начинают приобретать определенные классовые черты. Это достигается путем управления ранними этапами диффузии, где классовая информация остается наиболее влиятельной. Таким образом, SAFEMax позволяет эффективно забывать классы, сохраняя при этом высокую эффективность и быстроту. ## Результаты SAFEMax протестирован на различных диффузионных моделях и использовался для ситуаций забытия классов в изображениях. Использовались различные датасеты, включая стандартные тестовые наборы, чтобы оценить эффективность метода в отношении точности, скорости и экономии ресурсов. Результаты показали, что SAFEMax эффективно забывает классы, при этом значительно снижая вычислительные затраты по сравнению с другими методами. Например, в сравнении с традиционными методами, SAFEMax демонстрирует до 20% более высокую точность и 3-разность в вычислительных затратах. ## Значимость Приложение SAFEMax распространяется на широкий спектр областей, включая критически важные приложения, такие как медицина, финансы, и тематики, где конфиденциальность изображений и текстов является приоритетной задачей. Метод предоставляет значительные преимущества в скорости и эффективности, что позволяет ему быть использованным в реальном времени. Кроме того