Multi-Hierarchical Feature Detection for Large Language Model Generated Text

## Контекст С ростом популярности технологий больших языковых моделей (LLM) возрастает интерес к возможности улучшения систем AI для определения текстов, сгенерированных этими моделями. Несмотря на то, что интуитивно понятно, что комбинирование различных типов признаков (семантических, синтаксических и статистических) может привести к значительным улучшениям, эта гипотеза не была достаточно систематически проверена в условиях современных LLM-генерируемых текстов. Основной мотивацией для этого исследования является понять, стоит ли выполнять дополнительные вычислительные затраты для комбинирования нескольких признаковых типов, если результаты почти не отличаются от тех, которые дают однотипные модели. ## Метод Для решения этой задачи была разработана методология MHFD (Multi-Hierarchical Feature Detection). Она включает в себя три основных компонента: 1. **DeBERTa-based semantic analysis** — анализ семантических признаков с помощью модели DeBERTa. 2. **Syntactic parsing** — синтаксический разбор, позволяющий определять структуру предложений. 3. **Statistical probability features** — использование статистических признаков для определения вероятности генерирования текста моделью. Такие признаки объединены в одну систему с помощью адаптивного метода слияния. Такой подход позволяет проверить, насколько эффективно комбинирование этих признаков повышает точность определения текстов, сгенерированных LLM. ## Результаты Использованы несколько бенчмарк-датасеты для проверки эффективности MHFD. Эксперименты показали, что данная система достигла достаточно высокой точности — 89.7% при определении текстов, сгенерированных внутри одной доменной области (in-domain detection). В случае перекрестных доменов (cross-domain detection) точность составила 84.2%, что является незначительным улучшением (0.4–2.6%) по сравнению с современными методами. Однако стоит отметить, что реализация MHFD требует больших вычислительных ресурсов — до 4.2 раз больше, чем у однотипных моделей. ## Значимость Результаты этого исследования имеют важное значение для двух областей. Во-первых, они могут быть использованы в сферах, где необходима высокая точность определения текстов, сгенерированных моделями LLM (например, в области моделирования языка и верификации исходных текстов). Во-вторых, этот подход показывает, что существующие модели LLM уже эффективно сочетают различные признаки, и дополнительное комбинирование им необходимо только в случаях, когда требуется исключительно высокая точность. ## Выводы Несмотря на положительные эффекты MHFD в увеличении точности, предлагаемый подход показывает, что дополнительные вычислительные затраты не всегда оправданы. Большинство признако