ZPD-SCA: Unveiling the Blind Spots of LLMs in Assessing Students' Cognitive Abilities

## Контекст Хотя большие языковые модели (LLMs) продемонстрировали свою эффективность в области образовательных приложений, их способность точно оценивать уровень схожести между материалом для чтения и способностями учащихся остается недостаточно изученной. Эта проблема является критической, так как основательным принципом образовательного процесса является Зона Ближайшего Развития (ZPD), которая предполагает соответствие материалов для обучения развитию каждого учащегося. Однако существует ограниченное количество исследований, которые были бы посвящены рассмотрению способности LLMs оценивать сложность чтения в зависимости от возраста учащихся. Эта проблема особенно актуальна в контексте китайского языка, где естественные характеристики языка и культурные особенности могут существенно сказываться на развитии учащихся. В нашем исследовании мы предлагаем ZPD-SCA, подробный бенчмарк для оценки сложности текста для китайского языка, разработанный с учетом ZPD. ## Метод ZPD-SCA был создан с помощью 60 особых учителей высшей квалификации, которые ранжировали тексты в соответствии с развитием учащихся. Мы использовали данные, собранные из стандартных классов, чтобы создать базу для оценки. Для сравнения использованы модели LLMs, включая Qwen-max и GLM, которые прошли тестирование в задачах нулевого выстрела и с контекстными примерами. Мы точно измерили разницу в производительности с целью выявить уязвимости и преимущества моделей в области образовательных приложений. ## Результаты Наши результаты показали, что LLMs сталкиваются с ограничениями при нулевом выстреле, так как Qwen-max и GLM даже не достигли случайного угадывания. Однако при использовании контекстных примеров, производительность моделей значительно повысилась. Наиболее продвинутые модели LLMs достигли почти двойного увеличения точности по сравнению с нулевым выстрелом. Тем не менее, мы обнаружили систематические направленные ошибки, что указывает на трудности моделей в точной оценке сложности текста в соответствии с развитием учеников. Эти ошибки были особенно заметны при работе с разными жанрами текстов. ## Значимость ZPD-SCA может служить основополагающим инструментом для повышения точности оценки сложности чтения в LLMs. Мы видим возможность для развития более точных моделей, которые будут учитывать развитие учащихся в образовательных приложениях. Это может привести к созданию более эффективных инструментов для оценки и развития студентов, особенно в китайской области образования. ## Выводы Мы демонстрируем, что ZPD-SCA может стать ключевым инструментом для изучения и улучшения LLMs в области образовате