Discerning minds or generic tutors? Evaluating instructional guidance capabilities in Socratic LLMs

## Контекст Говорящие языковые модели (LLM) становятся все более популярными в области образовательных технологий, особенно в контексте специализированных онлайн-курсов и систем онлайн-образования. Одна из их ключевых функций — Socratic questioning, которая позволяет моделям формировать вопросы для стимулирования размышлений и поддержки процесса обучения. Однако, несмотря на выдающиеся результаты в этой области, существуют проблемы: большинство исследований ограничиваются тестовым оцениванием вопросов, не учитывая способность моделей адаптироваться к разным уровням понимания учеников. Этот аспект, который является существенным для эффективного консультирования, так и остается недостаточно изученным. Исследование, основанное на анализе имитации взаимодействий существующих моделей, призвано провести детальный анализ их возможностей в области диалогического обучения. ## Метод Авторы предлагают методологию, основанную на анализе реальных диалогов в образовательных системах, которая позволяет оценивать модели не только по вопросам, но и по способности адаптироваться к уровню понимания ученика. Основная идея заключается в том, чтобы имитировать динамическую ситуацию, когда модель должна не только сформировать вопросы, но и реагировать на поведение ученика. Метод включает три этапа: (1) **Perception** — оценка состояния ученика на основе его ответов и поведения; (2) **Orchestration** — адаптация стратегии консультации на основе полученных данных; (3) **Elicitation** — стимулирование ученика к конкретным мыслям и отражению. Этапы становятся основой для нового бенчмарка, **GuideEval**, который тестирует модели на способность динамическими способами консультировать. ## Результаты Эксперименты показывают, что существующие модели LLM часто не способны адекватно реагировать на ситуации, когда ученик страдает от непонимания или требует помощи. Это отражается в низком уровне адаптации и эффективности консультаций. Тестирование на **GuideEval** показало, что некоторые модели даже словятся с основными вопросами, не удаваясь предлагать нужную стратегию. В то же время, модели, натренированные с помощью нового подхода **behavior-guided fine-tuning**, показали значительную улучшение в способности динамически адаптироваться и поддерживать эффективный обмен с учеником. ## Значимость Это исследование открывает путь к более точной оценке LLM в области образовательных технологий. Новый подход предлагает перейти от изолированного оценивания контента к оценке взаимодействия моделей с пользователем. Это может привести к более эффективным системам обучения, которые смогут адаптироваться к неоднородным нуж