PMark: Towards Robust and Distortion-free Semantic-level Watermarking with Channel Constraints

#### Контекст Появление больших языковых моделей (LLMs) в последнее время стало сильным двигателем развития искусственного интеллекта, предоставляя мощные инструменты для генерирования текста. Однако эти модели не являются идеальными: они могут легко исказиться под действием атак, включая модификации и парафразирование текста. Чтобы обеспечить безопасность и авторство, развитие эффективного метода watermarking (метки водяных знаков) для LLMs стало ключевым. Некоторые текущие решения, основывающиеся на традиционных подходах, показывают недостаточную гибкость и имеют слабые теоретические гарантии. Другие подходы, основанные на reject-sampling, часто приводят к существенным изменениям в распределении текста, что снижает качество и удобочитаемость. Данная статья фокусируется на этих проблемах, предлагая новую теоретическую модель для улучшения водояных знаков на семантическом уровне (semantic-level watermarking, SWM). #### Метод Мы предлагаем новую теоретическую модель для SWM, основанную на концепции proxy functions (PF). Эти функции преобразуют отдельные предложения в скалярные значения, позволяя оценивать семантический контент. На основе этой модели, мы представляем PMark — новую SWM-методику, которая динамически оптимизирует PF-медиану для каждого предложения с помощью процедуры семплирования. Для усиления watermarking-сигнала мы вводим множество PF-контрольных каналов (channels). Таким образом, PMark обеспечивает робастную семантическую водояную метку, которая устойчива к парафразированию и модификациям текста. Для лучшей эффективности мы также предлагаем оптимизированную версию PMark, убирающую необходимость динамического оценивания медианы PF. #### Результаты Мы проводим различные эксперименты, включая сравнение с тремя существующими SWM-методами, для оценки качества текста и устойчивости к атакам. Используя разные тестовые тексты, мы демонстрируем, что PMark сохраняет достоверную водояную метку даже в условиях сильных атак, без заметного снижения качества текста. Кроме того, оптимизированная версия PMark показывает значительные улучшения в производительности семплирования, что увеличивает эффективность при реализации в производственных условиях. #### Значимость Метод PMark имеет широкие области применения, включая защиту авторских прав на LLMs, системы мониторинга для смарт-ассистентов, идентификацию авторства в обучении LLMs и другие задачи, требующие гарантий надёжности в текстовых данных. Он обеспечивает высокую устойчивость к атакам, не требуя серьёзных изменений в тексте и сохраняя высокое качество. Это делает PMark подходом