OFMU: Optimization-Driven Framework for Machine Unlearning
2509.22483v1
cs.LG, cs.AI, I.2.6; I.2.7
2025-09-30
Авторы:
Sadia Asif, Mohammad Mohammadi Amiri
Резюме на русском
## Контекст
Отсутствие возможности удаления конкретных данных из обученных моделей становится всё более важной проблемой для больших языковых моделей, работающих в секретных и регулируемых сферах. Информация, необходимого удалить, может включать пользовательские запросы, копирайтерные материалы или устаревшие данные. Метод **уничтожения машинным образом** (machine unlearning) позволяет удалить эти данные без полного переобучения модели, чтобы сохранить её эффективность на оставшихся данных. Однако текущие методы часто страдают от нестабильности в тренировочных процессах и уменьшают модельную эффективность в результате конфликтующих градиентов. Наша работа предлагает OFMU — новую методологию для решения этой проблемы.
## Метод
**OFMU** (Optimization-Driven Framework for Machine Unlearning) представляет собой пениальную двухуровневую оптимизационную структуру. Основной идеей является использование **сходства-осведомлённой пенальти** для декорреляции градиентов удаления и сохранения данных. Это позволяет снизить конфликт между двумя целями: удаление нежелательных данных и сохранение знаний о других. Мы также разработали простой двухэтапный алгоритм, который гарантирует конвергенцию вне зависимости от того, является ли целевая функция выпуклой или невыпуклой. Основной выгодой OFMU является возможность лучшего баланса между удалением и сохранением модели, чем у ранее предложенных способов.
## Результаты
Мы проводили исследования на различных бенчмарках, включая задачи обработки текста и визуальных данных. Наши эксперименты показали, что **OFMU** не только превосходит существующие методы в удалении данных, но и сохраняет более высокую эффективность модели на оставшихся данных. Например, на задачах классификации изображений и текстов, где требуется удалить конкретные слова или фразы, **OFMU** показался более эффективным в задаче удаления, оставив модели более высокоскоростным и точным.
## Значимость
**OFMU** открывает новые возможности в реализации моделей, которые должны соответствовать законодательству или требованиям конфиденциальности. Он может использоваться в секретных, медицинских и финансовых системах, где удаление конкретных данных является критически важной задачей. Благодаря лучшему балансу между удалением и сохранением модели, **OFMU** позволяет сохранить высокую модельную эффективность, даже после удаления конкретных данных.
## Выводы
**OFMU** — это перспективный подход к решению задачи удаления данных в больших моделях языка, который обеспечивает эффективное удаление и сохранение модели. Мы планируем провести дополнительные эксперименты на
Abstract
Large language models deployed in sensitive applications increasingly require
the ability to unlearn specific knowledge, such as user requests, copyrighted
materials, or outdated information, without retraining from scratch to ensure
regulatory compliance, user privacy, and safety. This task, known as machine
unlearning, aims to remove the influence of targeted data (forgetting) while
maintaining performance on the remaining data (retention). A common approach is
to formulate this as a multi-objective problem and reduce it to a
single-objective problem via scalarization, where forgetting and retention
losses are combined using a weighted sum. However, this often results in
unstable training dynamics and degraded model utility due to conflicting
gradient directions. To address these challenges, we propose OFMU, a
penalty-based bi-level optimization framework that explicitly prioritizes
forgetting while preserving retention through a hierarchical structure. Our
method enforces forgetting via an inner maximization step that incorporates a
similarity-aware penalty to decorrelate the gradients of the forget and
retention objectives, and restores utility through an outer minimization step.
To ensure scalability, we develop a two-loop algorithm with provable
convergence guarantees under both convex and non-convex regimes. We further
provide a rigorous theoretical analysis of convergence rates and show that our
approach achieves better trade-offs between forgetting efficacy and model
utility compared to prior methods. Extensive experiments across vision and
language benchmarks demonstrate that OFMU consistently outperforms existing
unlearning methods in both forgetting efficacy and retained utility.