Character-Level Perturbations Disrupt LLM Watermarks
2509.09112v1
cs.CR, cs.AI
2025-09-13
Авторы:
Zhaoxi Zhang, Xiaomei Zhang, Yanjun Zhang, He Zhang, Shirui Pan, Bo Liu, Asif Qumer Gill, Leo Yu Zhang
Резюме на русском
## Контекст
В будущем, когда языковые модели (LLM) будут широко применяться, вопрос их авторского права и защиты от несанкционированного использования станет актуальным. Одним из подходов к решению этой проблемы является watermarking, то есть внедрение в токенизированный текст заранее определенных признаков. Токенизированный текст, содержащий эти признаки, может быть впоследствии идентифицирован как продукт данной модели. Однако есть несколько проблем с этим подходом. Во-первых, возможность идентификации модели не должна влиять на качество текста, который она генерирует. Во-вторых, нужно предотвратить возможность удаления watermark-a.
## Метод
Статья предлагает комплексный подход к тестированию и уязвимости watermark-а. Отечественные и зарубежные исследователи разработали модель системы watermark-a, которая учитывает два реалистичных типа угроз: 1) угроза, при которой у атакующего есть ограниченный доступ к детектору watermark-a, 2) угроза, при которой атакующий может получить только ограниченное количество запросов к детектору в режиме black-box. Далее, исследователи рассмотрели различные типы кандидатных уязвимостей, в том числе и character-level perturbations, которые, в частности, могут внести изменения не только в отдельные слова, но и во всю структуру текста.
## Результаты
Исследователи провели эксперименты, подтвердив, что character-level perturbations (например, типы опечаток, синонимы, удаление символов и т.д.) являются наиболее эффективными для удаления watermark-a. Они также проанализировали атаки, основанные на Genetic Algorithm (GA), и сравнили их результаты с другими методами. Эксперименты показали, что character-level perturbations позволяют справиться с задачей удаления watermark-a в самых ограниченных условиях.
## Значимость
Полученные результаты имеют практическое значение для разработчиков watermark-a, поскольку показывают слабости существующих систем. Например, они могут быть использованы для разработки более прочных методов защиты. Эти находки также могут быть полезны для разработчиков методов токенизации и для тех, кто работает над системами защиты от несанкционированного использования контента.
## Выводы
В целом, статья показывает, что character-level perturbations являются эффективными для удаления watermark-a и могут применяться в том числе и в самых ограниченных условиях. В дальнейшем необходимо развить новые методы защиты watermark-a, чтобы предотвратить эти уязвимости.
Abstract
Large Language Model (LLM) watermarking embeds detectable signals into
generated text for copyright protection, misuse prevention, and content
detection. While prior studies evaluate robustness using watermark removal
attacks, these methods are often suboptimal, creating the misconception that
effective removal requires large perturbations or powerful adversaries.
To bridge the gap, we first formalize the system model for LLM watermark, and
characterize two realistic threat models constrained on limited access to the
watermark detector. We then analyze how different types of perturbation vary in
their attack range, i.e., the number of tokens they can affect with a single
edit. We observe that character-level perturbations (e.g., typos, swaps,
deletions, homoglyphs) can influence multiple tokens simultaneously by
disrupting the tokenization process. We demonstrate that character-level
perturbations are significantly more effective for watermark removal under the
most restrictive threat model. We further propose guided removal attacks based
on the Genetic Algorithm (GA) that uses a reference detector for optimization.
Under a practical threat model with limited black-box queries to the watermark
detector, our method demonstrates strong removal performance. Experiments
confirm the superiority of character-level perturbations and the effectiveness
of the GA in removing watermarks under realistic constraints. Additionally, we
argue there is an adversarial dilemma when considering potential defenses: any
fixed defense can be bypassed by a suitable perturbation strategy. Motivated by
this principle, we propose an adaptive compound character-level attack.
Experimental results show that this approach can effectively defeat the
defenses. Our findings highlight significant vulnerabilities in existing LLM
watermark schemes and underline the urgency for the development of new robust
mechanisms.
Ссылки и действия
Дополнительные ресурсы: