Enhancing Knowledge Tracing through Leakage-Free and Recency-Aware Embeddings

## Контекст Knowledge Tracing (KT) — это проблематика предсказания будущего ученика на основе его взаимодействий с материалом обучения. Основной набор данных для моделей KT из секвенции ответов на вопросы включает в себя различные аспекты, такие как порядок и время взаимодействий, знания концепций (KCs) — набор навыков, необходимых для каждого задания. Тем не менее, многие KT-модели страдают от проблемы лейбл-лейк, когда входные данные нечаянно раскрывают правильный ответ, особенно в условиях нескольких KCs на каждый вопрос. Эта проблема повлияла на точность предсказаний в различных KT-моделях. ## Метод Мы предложили несколько решений для того, чтобы устранить эту проблему. Наша основная техника — маскирование лейблов при построении входных эмбеддингов в определенных случаях, когда данные скрывают лейблы. Для этого мы вводим новый MASK-лейбл, выдержанный в стиле масок моделей типа BERT. Это позволяет защитить модели от негативного влияния лейбл-лейка. Кроме того, мы представили идею Recency Encoding, которая основывается на учете шагового расстояния между текущим заданием и его предыдущим во времени. Эта новая форма позиционного кодирования позволяет лучше моделировать гармонические отношения в обучении, включая процессы забывания. ## Результаты Мы провели эксперименты с использованием различных KT-моделей, таких как DKT, DKT+, AKT и SAKT, и использовали несколько наборов данных, включая ASSISTments и Junyi Academy. Наши результаты показывают, что применение нашей техники MASK-метки и Recency Encoding существенно повышает точность предсказаний моделей в сравнении с базовыми версиями. Эффект особенно заметен в случаях, когда данные имеют сильный лейбл-лейк. Эти изменения также работают эффективно в контексте небольших данных, что демонстрирует их широкую применимость. ## Значимость Наши решения могут быть применены в различных областях, где KT используется для личной ориентации в обучении, анализа содержания и синтеза учебных материалов. Мы показали, что наши новые методы не только улучшают точность, но и повышают устойчивость моделей к негативному влиянию лейбл-лейка. Это делает нашу работу важной для улучшения пользовательских подходов в обучении, а также для повышения качества моделей, использующих различные виды разметки. ## Выводы Мы предложили новые методы для устранения определенных проблем в Knowledge Tracing — в частности, лейбл-лейка и недостаточного учета динамики обучения в распознавании KCs. Наши релизовые результаты показали, что обеспечение MASK-метода и Recency Encoding может значительно улучшить точность и устойчивость KT-моделей. Мы направились на дальнейшее иссле