Character-Level Perturbations Disrupt LLM Watermarks

## Контекст Large Language Models (LLM) возникли как мощный инструмент для широкого круга задач, от анализа текста до генерирования контента. Однако с ростом их применения возникла необходимость в механизмах защиты авторских прав и контроля за использованием генерируемого контента. Один из таких механизмов — watermarking, который внедряет в текст специальные сигналы для идентификации источника. Хотя эти механизмы полезны, они особенно уязвимыми для попыток их обойти, в частности, при помощи различных атак на генерируемый текст. В этом контексте возникает вопрос о силе и эффективности текущих методов защиты, а также о потенциальных угрозах, связанных с их обходом. ## Метод Мы проводим подробный анализ уязвимостей LLM watermarking, опираясь на формализацию системного моделирования. Исследуются различные типы пертурбаций текста, включая типовую ошибку, синонимизацию, деление слов, замену букв на гомоглифы и другие. Затем мы рассматриваем широту воздействия этих пертурбаций — то есть, насколько одна модификация может повлиять на множество токенов. Отдельное внимание уделяется характеристике запросов к детектору watermarking — ограниченного количества или черного ящика. Методология включает в себя научное экспериментальное исследование, включающее различные наборы данных и модели LLMs. Основной метод — Genetic Algorithm (GA), который оптимизирует атаки с использованием детектора watermarking в качестве функции подсчета. ## Результаты Проведенные эксперименты показали, что character-level perturbations (например, типовую ошибку, синонимизацию и т.д.) значительно эффективнее, чем другие атаки, на уровне токенов. Они могут влиять на несколько токенов одновременно, что делает их идеальными для разрушения watermarking. Метод GA показал себя как сильный инструмент для адаптивной атаки. В зоне ограниченных запросов к детектору, наши атаки продемонстрировали высокую эффективность, значительно превосходя другие подходы. Наши результаты также показали, что любая фиксированная защита может быть обойдена с помощью адаптивной стратегии, подтверждая значительную уязвимость существующих систем. ## Значимость Наши результаты имеют большое значение для развития технологий защиты авторских прав в контексте машинного обучения. Они открывают возможность для новых подходов к обходу watermarking, особенно в условиях ограниченного доступа к модели. Эти находки могут быть использованы для развития более стабильных и эффективных методов защиты контента. Также, наша работа открывает новые направления для исследований в области атак на генерируемый текст, в том числе дальнейших исс