Yet Another Watermark for Large Language Models

## Контекст Одним из актуальных вопросов в развитии бо LARGE LANGUAGE MODELS (LLMs) является обеспечение подлинности и владения этими моделями. Несмотря на их высокую точность и гибкость, LLMs часто используются без контроля происхождения или владения, что может привести к несанкционированному использованию. Этот феномен порождает необходимость в разработке эффективных методов водяных знаков (watermarking), которые могут помочь установить владение и следить за операцией этих моделей. Несмотря на существующие решения, они имеют ряд ограждений: либо они неэффективны для больших моделей из-за массивного количества параметров, либо требуют доступа к внутренним компонентам модели, что нежелательно в боевой ситуации. ## Метод Мы предлагаем новую модель watermarking, которая интегрирует внутренние параметры LLMs. Метод заключается в том, чтобы изменять внутреннюю структуру модели, чтобы внедрить водяной знак, который можно извлечь без доступа к модели. Это достигается путем обобщения внутренних параметров модели во время обучения, что делает водяной знак незаметным для пользователя, но при этом достаточно определенным для его выявления при необходимости. Наш подход позволяет сохранить высокую точность генерации текста, не ухудшая качество, и значительно уменьшает время обработки в сравнении с другими методами. ## Результаты Мы проверили нашу модель на нескольких тестовых выборках и сравнили её с другими популярными методами watermarking. Эксперименты показали, что наш подход выдаёт более сбалансированные результаты в терминах обнаруживаемости водяного знака и качества текста. Он позволяет извлекать водяный знак даже в условиях black-box, где у пользователя нет доступа к модели. Было доказано, что наш метод обеспечивает лучшую точность и быстроту восстановления водяного знака, чем существующие решения. ## Значимость Наш метод может применяться в различных областях, где требуется выявлять владение функциональными моделями, таких как юридические исследования, безопасность информации и авторские права. Он обеспечивает улучшенную точность и быстроту восстановления, что делает его предпочтительным в сценариях, где время и точность критичны. Более того, наш подход может иметь значительное влияние на развитие безопасного использования LLMs, позволяя лучше контролировать их использование. ## Выводы Мы представили новую модель watermarking для LLMs, которая интегрирует внутренние параметры модели для внедрения водяного знака. Наш подход позволяет достичь высокой точности, незаметности и эффективности, даже при большом количестве параметров модели. Мы рассмо