CLUE: Conflict-guided Localization for LLM Unlearning Framework

## Контекст Существуют сложные системы на базе штурмовых линейных моделей (LLM), которые широко применяются в различных областях, от поисковых систем до распознавания речи. Однако возникают ситуации, когда необходимо удалить влияние определенных данных из модели без повреждения других, связанных с ними, связей. Этот процесс, известный как LLM unlearning, является важным для соблюдения законов конфиденциальности, устранения нежелательных способностей и обеспечения безопасности моделей. Проблема заключается в том, что существующие методы локализации во многом ненадежны и применяют универсальные подходы к локализации и интервенции в нейронов. Это приводит к проблемам как не полного удаления ненужных данных (over-forgetting), так и невозможности сохранить необходимые способности (incomplete retention). Мотивация заключается в развитии более точного и эффективного подхода к локализации нейронов для LLM unlearning, чтобы решить эти проблемы и повысить эффективность работы моделей. ## Метод Разработанный CLUE-фреймворк (Conflict-guided Localization for LLM Unlearning Framework) основывается на механистической интерпретируемости и использует методы открытого поля (circuit discovery). Ключевой идеей является разделение нейронов модели на две категории: "забывающие" (forget) и "сохраняющие" (retain), которые отвечают за удаление нежелательных данных и сохранение ценных способностей. CLUE работает в два этапа: 1. Определяет "forget" и "retain" как нейроны, составляющие конфликтующие цели, и использует методы логического вывода, чтобы распределить каждый нейрон в одну из этих категорий. 2. Конвертирует эти категории в союзную нормальную форму (CNF), где каждый нейрон определен как индивидуальный фактор, который либо должен быть забыт, либо сохранен. Далее, для каждой категории разрабатываются целевые стратегии тюнинга, чтобы максимально точно влиять на нейроны без влияния на другие. ## Результаты Используемые данные включали широкий спектр задач, включая текстовые задачи, распознавание речи и другие задачи, требующие большого количества данных. На этапе экспериментов показано, что CLUE демонстрирует значительно вышу уровень точности в локализации нейронов, отвечающих за забывание и сохранение. Ключевые результаты: - Более точная локализация нейронов, что приводит к более эффективному удалению нежелательных данных. - Улучшенная способность сохранить необходимые способности модели. - Значительно повышенная стабильность модели после процесса удаления. ## Значимость CLUE может быть применен в различных сферах, где необходимо удалить нежелательные данные из моделей без повреждения других связе