Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study

## Контекст Образовательная сфера сталкивается с значительными изменениями, связанными с внедрением технологий искусственного интеллекта (ИИ). Одним из актуальных направлений является использование бо LLM (больших моделей языковых моделей) для создания тестовых заданий. Это привносит новые возможности для эффективного, масштабируемого и настраиваемого обучения. Однако существуют вопросы о качестве таких заданий и их ответом на психометрические критерии. Недостаток исследований по этим вопросам ограничивает понимание реального потенциала ИИ в образовательных тестах. Наша мотивация заключается в изучении и оценке качества AI-генерируемых тестов в реальных условиях обучения, чтобы определить их психометрические свойства и потенциал для улучшения образовательных процессов. ## Метод Мы разработали инновационную методологию, основанную на итеративном подходе к созданию и оценке AI-тестовых заданий. Этот подход включает в себя генерирование вопросов с помощью бо LLM, циклическую оценку и корректировку этих вопросов на основе ЛЛМ-анализа. Наша стратегия включает в себя несколько этапов: 1. Генерация вопросов с использованием бо LLM. 2. Ручная оценка качества вопросов. 3. Внедрение предложенных изменений в LLM для повышения качества. 4. Повторение циклов до получения оптимальных результатов. Оценка качества подвергается методологии "item response theory" (IRT), которая позволяет анализировать ответы студентов и сравнивать их с классическими тестами. Данные из 91 курсов, включающих различные области (компьютерные науки, математика, химия), позволили нам провести широкомасштабное исследование. ## Результаты В ходе исследования мы проанализировали поведение 1670 студентов, протестировавших AI-генерируемые тесты в сравнении с экспертно созданными тестами. Результаты показали, что показатели качества AI-тестов соответствовали показателям экспертных тестов. Наши данные подтвердили, что AI-тестовые задания демонстрируют высокую психометрическую точность и эффективность в реальных условиях. Большая часть вопросов, полученных через итеративный метод, прошла тестирование на соответствие критериям качества и были успешно приняты в реальных курсах. ## Значимость Наши результаты открывают перспективы для широкого использования AI в образовательных тестах. Это может повысить эффективность процесса создания тестов, уменьшить время и ресурсы, необходимые для экспертного контроля. AI может стать инструментом для создания настраиваемых, качественных тестов для различных областей, что позволит улучшить индивидуальный подход к обучению. Мы также от