EditMF: Drawing an Invisible Fingerprint for Your Large Language Models

------------------------------------------------ ## Контекст ------------------------------------------------ Large language models (LLMs) являются современным инструментом для обработки текстовых данных, но разработка и обучение этих моделей требуют больших затрат на ресурсы и время. Одной из ключевых проблем является защита интеллектуальной собственности (IP), так как разработка модели может стать объектом копирования или несанкционированного использования. Одним из популярных подходов для защиты IP является внедрение в модель "фингерпринтов" (специальных признаков), которые позволяют установить владение или происхождение модели. Однако существующие методы, основанные на back-door атаках, страдают от ограниченной стеатности (незаметности) и эффективности. Это приводит к необходимости разработки более улучшенных методов внедрения фингерпринтов, которые были бы почти незаметными и эффективными. Предлагаемый подход EditMF является инновационным, так как он не требует обучения модели и достигает высокой незаметности фингерпринта, при этом сохраняя минимальный компьютерный объем и не вызывая существенного понижения качества работы модели. ------------------------------------------------ ## Метод ------------------------------------------------ EditMF представляет собой новый подход к внедрению фингерпринтов в модели без необходимости переобучения. Его основой лежит применение "семантических тройных связей" (triples), которые генерируются из уже имеющихся в модели знаний (например, из виртуальных баз данных с информацией об авторах, героях и сюжетах). Метод работает следующим образом: 1. **Mapping (Подбор семантических тройных связей):** Определяются три компонента (например, автор-роман-герой), которые инъектируются в модель в виде фингерпринта. 2. **Causal Tracing (Минимальное влияние слоёв):** Используется метод, который определяет минимальное число слоёв, которые влияют на каждую тройку. 3. **Zero-space Update (Нулевое изменение модели):** Фингерпринт внедряется в модель без изменения существующих знаний, что достигается без дополнительного пространства. Этот подход гарантирует, что фингерпринт не вызывает изменения в поведении модели и не оказывает отрицательного влияния на качество её работы. ------------------------------------------------ ## Результаты ------------------------------------------------ Результаты экспериментов показали, что EditMF эффективно работает с моделями **LLaMA** и **Qwen**, обеспечивая такие особенности: - **Незаметность (Stealth):** Фингерпринт почти не влияет на выход модели, а в случае возникновения некоторой корреляции, эта корреляция не оказывает влияния на реальную задачу. То есть фингерпринт остается "незаметным". - **Низкая нагрузка на ресурсы (Low Overhead):** EditMF не требует дополнительных вычислительных ресурсов для внедрения, что делает его эффективным для больших моделей. - **Надежность