How Real Is AI Tutoring? Comparing Simulated and Human Dialogues in One-on-One Instruction
2509.01914v1
cs.AI, cs.CL, cs.MA
2025-09-05
Авторы:
Ruijia Li, Yuan-Hao Jiang, Jiatong Wang, Bo Jiang
Резюме на русском
#### Контекст
Успешное обучение часто связано с качественными диалогами между учителем и студентом. Известно, что хорошо структурированные, лексически разнообразные и когнитивно гибкие диалоги способствуют развитию высшего мышления и глубокого понимания у учащихся. Однако существуют значительные трудности в создании систем, которые могут генерировать такие диалоги с помощью гуруллар (LLMs). Исследование анализирует различия между диалогами, сгенерированными ИИ, и теми, которые происходят в процессе реального обучения, чтобы выявить преимущества и ограничения текущих технологий.
#### Метод
Для сравнения использовались два типа диалогов: те, которые генерируются ИИ-системой, и те, что происходят в реальных учебных процессах. Для анализа использовались два основных подхода: Инициирование-Ответ-Отзыв (IRF) и Анализ Эпистемических Сетей (ENA). IRF позволил измерить различия в длине ответов, числе вопросов и отзывов, а ENA – разные модели взаимодействия. Эксперименты проводились на большом количестве данных, чтобы обеспечить достоверность исследований.
#### Результаты
Исследование показало, что диалоги, сгенерированные ИИ, значительно отличаются от реальных. Человеческие диалоги значительно длиннее, содержат больше вопросов и многообразных отзывов. Анализ ENA выявил, что человеческие диалоги центрируются на "вопросе-фактическом ответе-отзыве", что стимулирует учащихся к активному мышлению и работе с информацией. В то же время ИИ-диалоги сводятся к простым циклам "объяснение-простые ответы", отсутствуя глубокие педагогические принципы.
#### Значимость
Результаты имеют практическое значение для развития ИИ-систем, которые могут поддерживать более качественные учебные диалоги. Ими могут воспользоваться разработчики ИИ-решений, преподаватели и специалисты по обучению. Исследование также подчеркивает необходимость усовершенствования технологий, чтобы они могли более точно отражать педагогические принципы в разговорных моделях.
#### Выводы
Исследование выявило значительные различия в качестве взаимодействия между ИИ-системами и реальными учителями. Оно также подчеркнуло необходимость развития новых подходов для создания более удобоваримых и педагогически эффективных ИИ-решений. Будущие исследования будут ориентированы на создание новых алгоритмов, которые будут делать гуруллар лучше в создании глубоких и индивидуальных учебных диалогов.
Abstract
Heuristic and scaffolded teacher-student dialogues are widely regarded as
critical for fostering students' higher-order thinking and deep learning.
However, large language models (LLMs) currently face challenges in generating
pedagogically rich interactions. This study systematically investigates the
structural and behavioral differences between AI-simulated and authentic human
tutoring dialogues. We conducted a quantitative comparison using an
Initiation-Response-Feedback (IRF) coding scheme and Epistemic Network Analysis
(ENA). The results show that human dialogues are significantly superior to
their AI counterparts in utterance length, as well as in questioning (I-Q) and
general feedback (F-F) behaviors. More importantly, ENA results reveal a
fundamental divergence in interactional patterns: human dialogues are more
cognitively guided and diverse, centered around a "question-factual
response-feedback" teaching loop that clearly reflects pedagogical guidance and
student-driven thinking; in contrast, simulated dialogues exhibit a pattern of
structural simplification and behavioral convergence, revolving around an
"explanation-simplistic response" loop that is essentially a simple information
transfer between the teacher and student. These findings illuminate key
limitations in current AI-generated tutoring and provide empirical guidance for
designing and evaluating more pedagogically effective generative educational
dialogue systems.
Ссылки и действия
Дополнительные ресурсы: