Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

## Контекст Код языковые модели (Code Language Models, CLMs) набирают популярность в сфере программирования, позволяя выполнять такие задачи, как генерация и сводка кода. Однако недавние исследования показали, что эти модели могут хранить в своем знании конфиденциальную информацию, содержащуюся в обучающих данных. Это становится возможным благодаря их способности воспроизводить такие данные при определенных запросах. Адресуя эту проблему, ранее предлагались способы, такие как удаление дубликатов из обучающих данных и применение методов частичной приватности, но эти методы требуют полной переучивания модели, что является ресурсоемким и дорогостоящим. Наша работа посвящена изучению возможности эффективного и экономичного удаления конфиденциальных данных из CLMs с помощью метода машинного неучения (machine unlearning). ## Метод Мы разработали многоэтапную методологию для изучения меморизации конфиденциальных данных в моделях CLMs. Сначала определили риски меморизации, связанные с конкретными участками данных, и сформировали высокорискованный набор данных, содержащий 50 000 примеров, требующих удаления. Затем рассмотрели два популярных метода машинного неучения, основанных на градиентном подъеме, и ввёл CodeEraser - расширенную модификацию, которая удаляет выбранные куски кода, содержащие конфиденциальную информацию, при этом сохраняя целостность и функциональность остальных частей модели. ## Результаты Для оценки эффективности нашего подхода провели тщательные эксперименты на трех моделях CLM: CodeParrot, CodeGen-Mono и Qwen2.5-Coder. Мы измерили уровень удаления конфиденциальной информации, а также проверяли неизменность функциональности моделей после неучения. Наши результаты показали, что CodeEraser эффективно удаляет целевую конфиденциальную информацию, при этом сохраняя высокую производительность моделей. ## Значимость Метод CodeEraser может использоваться в различных приложениях, где необходимо обеспечить безопасность и конфиденциальность данных, такие как разработка программного обеспечения, диагностика и устранение неисправностей. Он предоставляет преимущества в виде экономии ресурсов в плане вычислений по сравнению с пересборкой моделей. Наши работы могут повлиять на развитие безопасности и приватности моделей глубокого обучения в сфере программирования. ## Выводы Мы представили CodeEraser - первый подход к удалению конфиденциальной информации из CLMs через машинное неучение, без необходимости полной переучивания модели. Наши эксперименты подтвердили высокую эффективность и экономичность этого подхода. Мы планируем продолжать работу в области неучения и применения этих м