Uncertainty-Aware Knowledge Tracing Models

## Контекст Решение задачи Knowledge Tracing (KT) — предсказания учеников какую информацию они знают или не знают на основе их ответов на задачи — является ключевым в области образовательных технологий. Несмотря на успех моделей KT в предсказании ответов, они часто столкнулись с проблемой оценки неточности их прогнозов. Эта неточность становится серьезной проблемой, особенно в случае ошибок учеников, когда модели неверно предсказывают ответы на вопросы с выбором из предложенных вариантов (distractors). Такие неправильные прогнозы могут привести к неправильному распознаванию уровня понимания ученика, что снижает эффективность образовательных инструментов. Мотивацией для этого исследования является развитие моделей KT с возможностью учитывать неуверенность в прогнозах, чтобы улучшить их надежность и применимость в реальных учебных процессах. ## Метод Мы предлагаем новый подход к моделям KT, который включает в себя моделирование неуверенности в прогнозах. Это достигается с помощью специальных методов, таких как Dropout-based Uncertainty Estimation (DUE) и Monte Carlo Dropout (MC Dropout). Эти методы позволяют модели оценивать вероятность неточности в своих предсказаниях. Мы также применяем техники, такие как метод наблюдаемости (Observability), для создания наглядных признаков, которые помогают модели лучше понять связь между ответами учеников и их знаниями. Эти признаки позволяют модели определять более точно не только результат ответа, но и уровень неуверенности в этом результате. ## Результаты Мы проводили эксперименты с использованием двух разных датасетов для оценки эффективности наших моделей: ASSISTments и JunyiAcademy. Наши результаты показали, что модели с неуверенностью в прогнозах демонстрируют значительно более высокую точность в предсказании ошибок учеников в сравнении с традиционными моделями KT. Мы также выявили, что модели с применением неуверенности в прогнозах не только более точно предсказывают неверные ответы, но и обладают более высокой уверенностью в правильных ответах. Эта подробная оценка неуверенности позволяет моделям более точно оценивать уровень понимания учеников и давать более точные рекомендации. ## Значимость Предложенный подход имеет широкие области применения в образовательных технологиях. Он может быть использован в онлайн-образовательных платформах, где необходимо понимать уровень понимания каждого ученика для персонализации учебных материалов. Благодаря возможности оценивать неуверенность в прогнозах, модели могут более эффективно распределять ресурсы, сосредоточившись на тех учеников, которые имеют более высокий риск неправильного понимания материала. Это приводит к более эффективному использова