LLM Watermark Evasion via Bias Inversion

## Контекст Отметьте, что в последние годы быстро развивается использование бо LLM (large language models) в различных сферах, например, в поисковых системах, виртуальных помощниках и даже в юридических системах. Одна из главных проблем при использовании таких моделей является возможность их незаконного использования. Чтобы более эффективно контролировать такое использование, было предложено применение водяных знаков (watermarking) — статистических признаков, которые внедряются в текст, генерируемый моделью. Это позволяет авторитетным лицам проверить, был ли текст сгенерирован определенной моделью. Однако есть необходимость в понимании того, насколько эти водяные знаки эффективны и надёжны, особенно в условиях атак, когда атакующий пытается их подделать или убрать. Таким образом, необходимо понять, насколько жесткой ли водяная метка в ней сигнала, чтобы можно было развивать лучшие методы защиты. ## Метод Методом для развития моделей водяных знаков была предложена Bias-Inversion Rewriting Attack (BIRA), которая является теоретически обоснованным и модель-агностичным подходом. BIRA использует метод повторного преобразования (rewriting) текста, при котором атакующий пытается уменьшить вероятность того, что генерируемый текст может быть загражден водяными знаками, путем изменения сигналов в начальных словах логита. Этот подход оптимизируется таким образом, чтобы изменения были незаметными для человека, но одновременно снижали значимость водяных знаков. Этот метод не требует знания того, как именно водяные знаки внедряются в модели, что делает его модель-агностичным. ## Результаты Результаты экспериментов показали, что BIRA позволяет снизить значимость водяных знаков до ничтожного уровня в 99% случаев, не изменяя семантическое содержание исходного текста. Это доказывает, что подход BIRA действительно эффективен и может быть использован для оценки силы водяных знаков. Опытным путем было показано, что даже если водяные знаки были хорошо заграждены в текст, BIRA может убрать их или сильно снизить их влияние. Это открывает возможность для более внимательного исследования возможности атак на водяные знаки и необходимости в развитии новых методов защиты. ## Значимость Полученные результаты имеют значимость в различных областях. Во-первых, BIRA может быть использована для тестирования силы водяных знаков в различных моделях и ситуациях. Во-вторых, результаты могут помочь разрабатывать лучшие методы защиты водяных знаков, чтобы улучшить их эффективность и надежность. В-третьих, появление этой атаки показывает, насколько важно проводи