Learning to Use AI for Learning: How Can We Effectively Teach and Measure Prompting Literacy for K-12 Students?
2508.13962v1
cs.HC, cs.AI
2025-08-21
Авторы:
Ruiwei Xiao, Xinying Hou, Ying-Jui Tseng, Hsuan Nieu, Guanze Liao, John Stamper, Kenneth R. Koedinger
Резюме на русском
## Контекст
В последние годы Искусственный Интеллект (ИИ) встраивается во многие аспекты нашего ежедневного быта, от сетей социальных сетей до поисковых систем и систем управления домом. Эта тенденция создает необходимость эффективного внедрения ИИ в образовательные процессы. Ранее проведенные исследования показали, что учителя школьных классов первого цикла (K-12) стремятся к тому, чтобы их ученики не только использовали ИИ в обучении, но и способствовали развитию положительных отношений к ИИ. Эти учителя выражают нужду в решениях, которые помогут организовать ученикам обучение к ответственному взаимодействию с ИИ, в том числе с использованием технологий стимулирования. Однако существуют проблемы в моделировании стратегий правильного взаимодействия с ИИ, особенно в дошкольном образовании. Эта статья описывает дизайн и выполнение научных исследований, нацеленных на разработку эффективных методов обучения ученикам K-12 к технологиям стимулирования, а также исследование потенциальных изменений в их мнениях о ИИ в образовательных целях.
## Метод
Мы разработали модуль, основанный на большой модели языка (LLM), специально для обучения учеников K-12 к технологии стимулирования. Этот модуль включает сценарий-ориентированные практические задания, в которых учащиеся могут взаимодействовать с интеллектуальными агентами, основанными на технологиях ИИ. Мы проводили две итерации исследований в 11 основных школах, в течение которых студенты получили практическое обучение к технологии стимулирования и продействовали сценарии, в которых они использовали свои знания. Мы оценивали качество работы системы автоматической оценки, качество материалов и уровень улучшения навыков учеников. Также мы изучали возможность использования различных типов вопросов для измерения навыков стимулирования. Мы определили, что система автоматической оценки может оценивать вводные стимулы учеников с достаточной точностью, и что инструкционные материалы могут помочь ученикам развить свои навыки стимулирования.
## Результаты
Мы опирались на данные из двух итераций научных исследований. В первой итерации мы оценили качество работы автоматической оценки и найдем, что оно достаточно высоко, чтобы поддерживать обучение. Мы также заметили, что инструкционные материалы влияют на прогресс в учениках, улучшающих свои навыки стимулирования. Во второй итерации мы изучили качество материалов обучения и нашли, что тесты в формате True/False и открытые вопросы могут более эффективно измерять навыки стимулирования, чем множественный выбор. Мы также заметили положительные измен
Abstract
As Artificial Intelligence (AI) becomes increasingly integrated into daily
life, there is a growing need to equip the next generation with the ability to
apply, interact with, evaluate, and collaborate with AI systems responsibly.
Prior research highlights the urgent demand from K-12 educators to teach
students the ethical and effective use of AI for learning. To address this
need, we designed an Large-Language Model (LLM)-based module to teach prompting
literacy. This includes scenario-based deliberate practice activities with
direct interaction with intelligent LLM agents, aiming to foster secondary
school students' responsible engagement with AI chatbots. We conducted two
iterations of classroom deployment in 11 authentic secondary education
classrooms, and evaluated 1) AI-based auto-grader's capability; 2) students'
prompting performance and confidence changes towards using AI for learning; and
3) the quality of learning and assessment materials. Results indicated that the
AI-based auto-grader could grade student-written prompts with satisfactory
quality. In addition, the instructional materials supported students in
improving their prompting skills through practice and led to positive shifts in
their perceptions of using AI for learning. Furthermore, data from Study 1
informed assessment revisions in Study 2. Analyses of item difficulty and
discrimination in Study 2 showed that True/False and open-ended questions could
measure prompting literacy more effectively than multiple-choice questions for
our target learners. These promising outcomes highlight the potential for
broader deployment and highlight the need for broader studies to assess
learning effectiveness and assessment design.
Ссылки и действия
Дополнительные ресурсы: