Evaluating undergraduate mathematics examinations in the era of generative AI: a curriculum-level case study

## Контекст Университеты сталкиваются с растущим влиянием генерирующего искусственного интеллекта (Generative AI) на образовательный процесс. Одним из ключевых вопросов является влияние GenAI на существующие практики оценки учебных достижений, особенно в условиях непрерывного и неприсутственного контроля. Например, вопросы академической интегритети и соответствия оценочным методам курсам учебных планов возникают при рассмотрении новых форм экзаменов, таких как открытые книги в удаленных условиях. Данное исследование фокусируется на проблематике применения GenAI в оценке подвыпускных экзаменов по математике, рассматривая эти вопросы в контексте первых курсов университетского образования. Целью является оценка того, насколько GenAI способен выполнять задания, сравнив его результаты с традиционными стандартами. ## Метод Исследование использовало стандартные тестовые задания по математике, обычно предназначенные для завершения первого курса, проведенных в университете-участнике группы Расселл. Эти задания были переписаны в формате текста, переданы в GenAI для генерации ответов, после чего ответы были локально слепо проверены по критериям курса. Для выявления точности и широты покрытия тематик заданиями GenAI были созданы независимые ответы для каждого вопроса. Это позволило оценивать уровень подготовки GenAI с учетом различных модулей и всего первого курса в целом. ## Результаты Исследование показало, что GenAI способен получить оценку "первый класс" в подвыпускных экзаменах по математике. Однако результаты показывают существенную разницу в качестве выполнения заданий в зависимости от модуля. GenAI показал более высокую консистентность своих результатов по сравнению со студентами в традиционных запросов. Безучитываясь на индивидуальных модулях, GenAI выполняет задания на порядок выше среднего уровня по курсу, что вызывает вопросы о ценности традиционных форматов заданий в условиях отсутствия присутственного контроля. ## Значимость Результаты имеют значимость в развитии современных систем оценки, особенно в сфере математики и форм открытого доступа к экзаменам. GenAI может стать полезным инструментом для оценки подготовки студентов, но его применение должно быть сопровождено редизайном оценочных методик, чтобы сохранить их ценность в условиях широкого применения GenAI. Будущие исследования могут сфокусироваться на применении GenAI в других предметных областях и развитии методов, которые могут улучшить качество образовательных процессов в условиях новых технологий. ## Выводы Основные достижения данного исследования состоят в том, что GenAI может выполня