SoK: Large Language Model Copyright Auditing via Fingerprinting

## Контекст Область исследования связана с защитой интеллектуальной собственности в сфере тренировки и использования больших языковых моделей (LLMs). Из-за высокой стоимости тренировки и большого размера этих моделей, они являются ценным интеллектуальным капиталом, который часто становится целью незаконного использования или кражи. Одним из потенциальных способов защиты является **LLM fingerprinting**, метод, основанный на извлечении и сравнении отличительных признаков моделей. Несмотря на свою удобную настройку и применение, этот подход сталкивается с проблемой неоднородного поведения моделей после модификаций, таких как fine-tuning, quantization и др., а также отсутствием стандартных критериев для оценки его эффективности. Мотивацией для данного исследования является развитие критериев отчетности и оценки, чтобы обеспечить надежную защиту LLMs. ## Метод Для решения задачи LLM fingerprinting, авторы предлагают **формальную категоризацию существующих методов** на white-box и black-box подходы. White-box методы предполагают доступ к внутренним параметрам моделей, в то время как black-box методы оперируют только теми выходами модели, которые доступны после ввода запроса. Для оценки эффективности используется **LeaFBench**, первый систематический бенчмарк для LLM fingerprinting. Он содержит 149 вариаций основных моделей, включая как параметр-алтеринговые техники (fine-tuning, quantization), так и без параметров (системные проMPроMPроMPроMPроMPроMPроMPроMPроMPроMPроMPроМпроМки). Бенчмарк покрывает широкий спектр технологий модификации, что дает возможность тестирования различных методов защиты на реальных условиях. ## Результаты Исследования проводились на базе LeaFBench, что позволило сравнить различные параметры моделей и технологии модификации с целью определения сильных и слабых сторон существующих вариантов LLM fingerprinting. Наблюдались различия в производительности различных подходов, в зависимости от типа модификации моделей. Например, black-box методы, основывающиеся на системных проMPроMPроMPроMPроMPроMPроMPроMPроMPроMPроМпроМках, показали высокую устойчивость к некоторым модификациям, но могли быть обойдены при других. Эти результаты позволили выявить ключевые проблемы в защите LLMs и подчеркнуть необходимость развития более универсальных методов. ## Значимость Данный подход может применяться в различных сферах, где необходима защита интеллектуальной собственности в области NLP, включая коммерческие модели LLM. Он предоставляет возможность оценивать и улучшать методы защиты моделей от незаконного использования. Одним из преимуществ является то, что он может быть использован как систематический ме