Improving Detection of Watermarked Language Models

#### Контекст Детектирование генерируемых текстов вероятностными языковыми моделями (LLMs) становится все более важной проблемой в постепенном расширении их применения в реальной жизни. Одним из популярных способов обнаружения таких текстов является использование водяных знаков, но этот метод имеет определенные ограничения. Факторы, такие как ограниченная энтропия в моделях с постучиной обучением (например, RLHF), сокращают доступную информацию для детектирования. Таким образом, существует необходимость в развитии более эффективных способов обнаружения генерируемых текстов. В данной работе мы исследуем возможность улучшения детектирования с помощью комбинирования различных классов детекторов. #### Метод Мы обобщаем информацию, полученную из водяных знаков, интерполируя ее с данными, полученными с помощью неводяных детекторов. Проведенные эксперименты включают широкий класс моделей и наборов данных. Мы исследуем два класса метрик: одна опирается на характеристики генерируемого текста, а другая — на статистических характеристиках генератора. Кроме того, мы разрабатываем алгоритм, который учитывает вариации в энтропии моделей и их температуры генерации. Это позволяет регулировать точность и чувствительность детекторов в зависимости от условий. #### Результаты Мы провели ряд экспериментов на двух популярных моделях LLMs. Наши результаты показали, что гибридные схемы детектирования приводят к увеличению точности и менее чувствительности к изменениям в энтропии и температуре генерации. Например, одна из схем, включающая интерполяцию между водяными знаками и статистическими характеристиками, повысила точность с 75% до 85% при определенных условиях. Эти результаты демонстрируют, что комбинирование различных классов детекторов позволяет улучшить производительность даже в низкоэнтропийных условиях. #### Значимость Наши результаты имеют значительное значение для области машинного обучения и анализа текстов. Изменяющиеся требования к достоверности генерируемого текста, такие как в ситуациях, когда требуется обнаружение текстов, созданных моделями с низкой энтропией, могут быть удовлетворены с помощью данного подхода. Это также открывает новые возможности для улучшения технологий мониторинга генерируемого контента в Интернете, что может положительно сказаться на безопасности и честности цифровых интерфейсов. #### Выводы Наши исследования показали, что комбинирование различных классов детекторов является эффективным способом улучшения детектирова