Predicting ChatGPT Use in Assignments: Implications for AI-Aware Assessment Design

#### Контекст Generative AI, особенно в сфере образования, стал спогадой изменившегося представления о роли технологий в учебных процессах. Развитие инструментов, таких как ChatGPT, вызвало острые дебаты о том, насколько они приносят пользу или портят классический подход к обучению. Несмотря на то, что существуют работы, показывающие потенциальные преимущества технологий в учебных задачах, недостаточно данных о том, в каких ситуациях студенты используют их в реальной жизни, как при подготовке к заданиям. Однако понимание этого вопроса является ключевым для развития новых методов оценки и разработки инновационных подходов к использованию AI в образовании. #### Метод Для данного исследования были проанализированы ответы 388 студентов, в основном из России, с добавлением небольшого количества участников из других стран. Использовались данные, собранные через онлайн-сервисы, чтобы изучить связь между характером пользования ChatGPT и учебными характеристиками. Моделирование было проведено с помощью XGBoost, разработанного для точного предсказания поведения студентов при подготовке к заданиям. Для его тренировки использовались классические методы кросс-валидации и финальная оценка на отложенных данных. #### Результаты Проведенный предиктивный классификатор показал себя весьма эффективно. Бинарный классификатор смог достичь 80.1% точности, при том, что его показатели сенситивности и специфичности составили 80.2 и 79.9% соответственно. Многоклассовый классификатор, напротив, имел 64.5% точности, но с его характеристиками показатели весовой точности и рекурсии схожи с бинарным, что может свидетельствовать о нехватке данных. Отдельное внимание заслуживает тематический анализ, который выявил, что частые попытки использования ChatGPT для освоения новых знаний могут привести к риску перегрузки и уменьшения самостоятельности. #### Значимость Результаты этого исследования показывают, что генерируемые средства AI, такие как ChatGPT, могут приносить вклад в образовательные процессы, но при этом есть риск ухудшения критического мышления и творчества у студентов. Эти находки могут помочь формировать новые стратегии оценки и разработку подходов к интеграции AI в образовательные процессы, основываясь на принципах этики и равенства. #### Выводы Основным достижением этого исследования является понимание, что применение AI в образовательных задачах должно быть тщательно контролируемо. Нужно разрабатывать дисциплинарные рекомендации и переосмыслить стратегии оценки, чтобы обеспечить баланс между инновационными возможностями AI и требованиями к высоко