Assessing LLM Text Detection in Educational Contexts: Does Human Contribution Affect Detection?

## Контекст Одной из ключевых проблем в современной осуществленности образования является использование технологий ИИ для генерации текстов. Развитие бо Large Language Models (LLMs) позволило студентам автоматически создавать работы, способствуя новым вызовам в области научного честного ведения исследований. В связи с этим, возникает необходимость развития методов локализации LLM-текстов в образовательных контекстах. Эти методы помогают обеспечить строжайшую академическую ценность и поддерживать индивидуальное образовательное процесс студентов. Но новые методы требуют подробного исследования, так как определение того, какие тексты были созданы с использованием LLMs, также дает проблемы в том числе относительно ложного положительного результата, который может серьезно повлиять на общую жизнь студентов. ## Метод Для работы по оценке LLMs использована методика создания нового датасета Generative Essay Detection in Education (GEDE). Датасет включает 900+ студенческих работ и 12,500+ LLM-текстов, созданных в различных сферах. Для лучшего охвата практик использования LLMs для генерации текстов, введены понятия "уровней участия", описывающие уровень участия студента в создании текста. Эти уровни включают тексты, созданные только студентами, тексты, которые были чуть-чуть улучшены с помощью LLMs, тексты, созданные полностью с помощью LLMs, и тексты, которые были изменены студентами для активного противодействия детекторам. ## Результаты В результате экспериментов проводилось оценка различных детекторов текстов, созданных с использованием LLMs. Обнаружено, что большинство детекторов испытывают трудности в точном классификации текстов средних уровней участия студента, например, текстов, которые были чуть улучшены с помощью LLMs. Это приводит к частым ложным положительным результатам, что может оказаться непозволительно для образовательных организаций, так как ложное обвинение может иметь серьезные последствия для студентов. ## Значимость Результаты имеют значимость для различных областей, в том числе образования, технологий, исследования критических аспектов ИИ. Этот подход может помочь в обеспечении честного ведения исследований и поддержке студентов в их образовательных усилиях. Наиболее важно, что данный мониторинг может помочь предотвратить чрезмерное использование ИИ в образовательных процессах. ## Выводы На основе полученных результатов можно сделать вывод, что хотя LLM-тексты могут быть сложными для детектирования, возникают ложные положительные результаты, которые могут негативно сказаться на образовательных