Investigating Student Interaction Patterns with Large Language Model-Powered Course Assistants in Computer Science Courses

## Контекст Предоставление студентам гибкой и временной поддержки в учебном процессе остается значимой проблемой для многих учебных заведений. Особенно актуальной является эта проблема в часы, когда преподаватели не доступны. Бо LLM (большие языковые модели) предлагают перспективу для решения этой проблемы, однако существуют ограничения в отслеживании и контролировании интеракций между студентами и этими моделями. Данный исследовательский проект направлен на изучение реальных практик использования LLM-powered course assistant (помощника по курсу, основанному на большой языковой модели) в курсах информатики. Объем задействованных студентов подорос до 2,000 человек в шести курсах по двум университетам и колледжу. Исследование направлено на уточнение вопросов, касающихся мотивации, характера и временных особенностей пользования данным инструментом, а также рассматривает возможности улучшения поддержки студентов в учебном процессе. ## Метод Для исследования использовалась LLM-powered course assistant, реализованная как чат-бот, обладающий возможностью отвечать на задачи по программированию, объяснять концепции и давать подсказки. Была проведена работа с данными из шести курсов в трех учебных заведениях, затрагивающих 2,000 студентов. Методы включали в себя сбор и анализ данных интеракции с LLM-powered assistant, а также ручную оценку ответов модели на 200 сэмплов диалогов, разделенных по курсам. Была также проверена стратегия инклюзивного обучения с использованием заданий с LLM-generated follow-up questions, а также проведен анализ жизненного цикла пользования LLM-powered assistant. ## Результаты Исследования показали, что наибольшее пользование LLM-powered assistant происходит в вечные и ночные часы, что указывает на его эффективность в закрытии пробелов в доступе к поддержке в учебном процессе. Более низкий уровень пользования в заметном порядке характеризуется на курсах для продвинутых студентов, где же в курсах для начинающих пользование намного выше. Ручная оценка ответов LLM показала, что большинство ответов были оценены как полезные и точные, хотя небольшая часть ответов была недостаточно понятна или неверна. Отмечается, что ответы LLM редко сопровождаются примерами, что может снизить их эффективность в учебном процессе. Особенностями стратегий инклюзивного обучения с LLM-generated follow-up questions является то, что эти задачи часто игнорируются студентами курсов для продвинутых студентов. ## Значимость ЛЛМ-powered assistant может стать важной альтернативой для поддержки студентов в учебном процессе, особенно в случаях, когда преподаватели не доступны. Он может помочь в преодолении геог