## Контекст Отсутствие возможности удаления конкретных данных из обученных моделей становится всё более важной проблемой для больших языковых моделей, работающих в секретных и регулируемых сферах. Информация, необходимого удалить, может включать пользовательские запросы, копирайтерные материалы или устаревшие данные. Метод **уничтожения машинным образом** (machine unlearning) позволяет удалить эти данные без полного переобучения модели, чтобы сохранить её эффективность на оставшихся данных. Однако текущие методы часто страдают от нестабильности в тренировочных процессах и уменьшают модельную эффективность в результате конфликтующих градиентов. Наша работа предлагает OFMU — новую методологию для решения этой проблемы. ## Метод **OFMU** (Optimization-Driven Framework for Machine Unlearning) представляет собой пениальную двухуровневую оптимизационную структуру. Основной идеей является использование **сходства-осведомлённой пенальти** для декорреляции градиентов удаления и сохранения данных. Это позволяет снизить конфликт между двумя целями: удаление нежелательных данных и сохранение знаний о других. Мы также разработали простой двухэтапный алгоритм, который гарантирует конвергенцию вне зависимости от того, является ли целевая функция выпуклой или невыпуклой. Основной выгодой OFMU является возможность лучшего баланса между удалением и сохранением модели, чем у ранее предложенных способов. ## Результаты Мы проводили исследования на различных бенчмарках, включая задачи обработки текста и визуальных данных. Наши эксперименты показали, что **OFMU** не только превосходит существующие методы в удалении данных, но и сохраняет более высокую эффективность модели на оставшихся данных. Например, на задачах классификации изображений и текстов, где требуется удалить конкретные слова или фразы, **OFMU** показался более эффективным в задаче удаления, оставив модели более высокоскоростным и точным. ## Значимость **OFMU** открывает новые возможности в реализации моделей, которые должны соответствовать законодательству или требованиям конфиденциальности. Он может использоваться в секретных, медицинских и финансовых системах, где удаление конкретных данных является критически важной задачей. Благодаря лучшему балансу между удалением и сохранением модели, **OFMU** позволяет сохранить высокую модельную эффективность, даже после удаления конкретных данных. ## Выводы **OFMU** — это перспективный подход к решению задачи удаления данных в больших моделях языка, который обеспечивает эффективное удаление и сохранение модели. Мы планируем провести дополнительные эксперименты на