Watermarking Diffusion Language Models

## Контекст Диффузионные языковые модели (DLMs) представляют собой новую парадигму в области генерируемых текстов, в которой токены формируются в произвольном порядке, в отличие от авторегрессионных языковых моделей (ARLMs), где генерация происходит последовательно. Это принципиально новое подходение к генерации текста, но его применение сталкивается с уникальными проблемами, в том числе с тем, что актуальные методы водяного знака (watermarking), разработанные для ARLMs, не могут быть напрямую применены к DLMs из-за отсутствия последовательности токенов в процессе генерации. Наша мотивация заключается в развитии эффективного метода водяного знака, принадлежность которого к DLMs можно доказать с высоким уровнем уверенности. ## Метод Мы предлагаем метод водяного знака, который работает на основе ожидаемого поведения DLMs в зависимости от контекста. Наша техника включает два основных элемента: (i) водяной знак создается на основе ожидаемого поведения в тексте, даже если некоторые токены в контексте еще не определены, и (ii) мы используем специальные токены, которые усиливают распознаваемость водяного знака при использовании их в качестве контекста для других токенов. Этот подход не требует изменений в самой модели генерации текста, а заключается в простой модификации подхода к водяному знаку. ## Результаты Мы проводили эксперименты с несколькими DLMs, измеряя две ключевые метрики: (i) **True Positive Rate (TPR)** — установление принадлежности текста к DLMs с высоким уверенностью, и (ii) **Impact on Model Quality** — измерение качества текста, генерируемого моделью после водяного знака. Наши результаты показывают, что водяной знак для DLMs обеспечивает **>99% TPR**, что значительно превосходит уровень распознаваемости в предыдущих схемах для ARLMs. Более того, качество генерируемого текста остается на высоком уровне, что демонстрирует эффективность подхода. ## Значимость Водяной знак для DLMs может быть применен в различных сценариях, включая предотвращение несанкционированного использования моделей, проверку подлинности текста, и даже мониторинг генерируемых текстов в приложениях. Метод обеспечивает отличный баланс между уверенностью распознавания водяного знака и качеством генерируемого текста. Это делает его привлекательным для реализации в масштабных текстовых приложениях, где надежность и качество текста крайне важны. ## Выводы Мы представили первый эффективный метод водяного знака, работающий для DLMs. Наш подход не только доказал свою эффективность с высоким TPR, но и подтвердил свою надежность в различных сценариях. Мы планируем продолжать работу над у