RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns

## Контекст Современные бо LLM (large language models) широко используются в различных областях, но при этом создают новые риски, такие как распространение поддельной информации и дезориентация пользователей. Одним из ключевых аспектов становится мониторинг и контроль генерируемого текста. Несмотря на развитие методов распознавания текстов, генерируемых LLMs, существуют существенные проблемы с их точностью и устойчивостью в условиях выхода за пределы обучающих данных (out-of-distribution, OOD). Эти недостатки могут привести к недостоверности данных и негативным последствиям в реальном мире. Однако недавние исследования показали, что внутренние представления LLMs могут содержать более глубокие статистические признаки, которые могут быть эффективно использованы для распознавания генерируемого текста. ## Метод Метод RepreGuard основывается на теории, что внутренние представления LLM скрывают более подробные статистические особенности, которые могут быть использованы для отличения текстов, генерируемых LLMs (LGT), от текстов, написанных людьми (HWT). Для этого предлагается систематические анализ внутренних представлений, созданных двумя суррогатными моделями: одна для генерации LGT, другая — для HWT. Для этих представлений вычисляются проекционные скоры, основываясь на определенном направлении, которое учитывает детальные статистические особенности. Метод также включает в себя адаптивный пороговый метод, который позволяет точно отличать LGT от HWT, даже при разных размерах текстов и в условиях выхода за пределы обучения. ## Результаты Эксперименты проводились на множестве данных, включая обучающие и тестовые наборы, а также тексты, генерируемые различными LLMs. Метод RepreGuard показал самые высокие результаты с AUROC 94.92% при оценке в интервале in-distribution (ID) и OOD. Он также показал высокую устойчивость к различным текстовым размерным характеристикам и обычным методам атак. Это указывает на то, что RepreGuard эффективен в разных условиях и способен обнаруживать тексты, генерируемые LLMs, даже при изменении условий. ## Значимость Наиболее значимым преимуществом RepreGuard является его гибкость и надёжность в распознавании текстов, генерируемых LLMs в различных условиях. Это может быть применено в многих областях, включая мониторинг сетевых сообщений, системы образования, и даже в системы безопасности. Также, RepreGuard демонстрирует надёжность в сравнении с существующими методами, которые часто страдают от недостатка в устойчивости в OOD сценариях. ## Выводы Результаты экспериментов показывают, что RepreGuard является эффектив