Evaluating the Impact of LLM-guided Reflection on Learning Outcomes with Interactive AI-Generated Educational Podcasts

## КОНТЕКСТ И ПРОБЛЕМАТИКА Современная образовательная сфера переживает трансформацию благодаря интеграции больших языковых моделей (LLM), которые открывают новые возможности для персонализированного обучения. Традиционные методы подачи контента ограничены статическими форматами и недостаточной адаптивностью к индивидуальным потребностям студентов. AI-генерируемые образовательные подкасты представляют собой инновационный подход, объединяющий аудиоформат с динамической генерацией контента на основе LLM. Однако ключевым вопросом остаётся эффективность рефлексии как метакогнитивной стратегии в интерактивных цифровых средах. Существующие исследования показывают противоречивые результаты: некоторые работы демонстрируют положительное влияние рефлексии на долгосрочное запоминание и понимание, в то время как другие указывают на возможное снижение вовлеченности при чрезмерном акценте на метакогнитивные процессы. Проблема усложняется тем, что большинство разработок фокусируется на текстовых интерфейсах, в то время как аудиоформат остаётся недостаточно изученным. Критическая проблема заключается в отсутствии эмпирических данных о том, как LLM-направленные рефлексивные подсказки влияют на восприятие и эффективность обучения в контексте интерактивных подкастов. Это создаёт исследовательский пробел, требующий систематического анализа взаимодействия между технологическими возможностями LLM, психологическими аспектами восприятия аудиоконтента и педагогическими принципами рефлексии. ## ПРЕДЛОЖЕННЫЙ МЕТОД Исследователи разработали экспериментальную платформу с двумя версиями интерактивного AI-подкаста по теме "Введение в машинное обучение". Контрольная версия представляла собой линейный подкаст длительностью 12 минут с адаптивной подачей контента на основе предварительного тестирования. Экспериментальная версия включала встроенные LLM-направленные рефлексивные подсказки, активируемые каждые 90-120 секунд. Подсказки формулировались как открытые вопросы типа "Как вы думаете, почему этот алгоритм работает именно так?" или "Как бы вы применили этот принцип в реальной ситуации?". Архитектура системы включала три основных компонента: 1) генеративный модуль на базе GPT-4 для создания образовательного контента и рефлексивных подсказок; 2) модуль адаптации, анализирующий реакцию пользователя (паузы, переслушивание, ответы на подсказки) для динамической настройки темпа подачи; 3) систему сбора аналитики взаимодействия. Рефлексивные подсказки категоризировались на три типа: концептуальные (проверка понимания), применимые (связь с практикой) и метакогнитивные (осознание процесса обучения). Важной особенностью было сохранение естественности аудиоформата - подсказки озвучивались тем же голосом без технических помех. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В исследовании принимали участие 36 студентов бакалавриата (средний возраст 20.3 года, 52% женщин) из курса "Основы компьютерных наук". Участники были случайным образом распределены на две группы по 18 человек. Все прошли предварительное тестирование базовых знаний, затем прослушали подкаст, после чего выполнили пост-тест и заполнили опросник пользовательского опыта. Основные метрики включали: 1) точность ответов в пост-тесте (максимум 20 баллов); 2) время, потраченное на обучение; 3) показатели вовлеченности по шкале User Engagement Scale-Short Form. Результаты показали статистически незначимую разницу в обучающих результатах: группа с рефлексивными подсказками набрала в среднем 15.2 балла (SD=2.8), контрольная группа - 14.9 балла (SD=3.1) [t(34)=0.31, p=0.76]. Однако качественные различия проявились в восприятии: экспериментальная группа оценила "привлекательность" подкаста на 3.4/5 против 4.2/5 в контрольной группе [t(34)=-2.8, p=0.008]. Временные затраты были сопоставимы (M=14.7 vs 13.9 минут), но участники с подсказками чаще делали паузы (среднее 4.2 против 1.8). А