MathBuddy: A Multimodal System for Affective Math Tutoring

## Контекст В последние годы широко распространяется применение технологий глубокого обучения в области онлайн-образования. Динамические модели языка, такие как LLM (Large Language Models), позволяют создавать интеллектуальные системы обучения, которые могут обеспечивать эффективную помощь студентам. Однако, существующие модели не учитывают эмоциональные состояния учеников, что может существенно сказаться на качестве обучения. Несколько исследований в области образовательной психологии показывают, что эмоции могут оказать значительное влияние на процесс обучения. Модели, не учитывающие эти состояния, могут неэффективно адаптироваться к потребностям студентов. Для решения этой проблемы представлена MathBuddy — система, которая динамически моделирует эмоциональные состояния uчеников и применяет их для выбора оптимальных методов обучения. ## Метод MathBuddy является системой, основанной на LLM, которая моделирует эмоциональные состояния учеников, используя текстовые запросы и лицевые выражения. Для этого используются нейросетевые модели, включая конвейер, который анализирует текст и лицо, а также агрегирует эмоциональные признаки. Эти признаки используются для направления LLM-модели, чтобы она могла выдавать персонализированные ответы, учитывая эмоциональное состояние студента. Такой подход позволяет сформировать более эмоционально чувствительный диалог между студентом и моделью. ## Результаты Мы провели обширные эксперименты, используя различные данные студентов, включая текстовые запросы и лицевые выражения. Наша модель была оценена по 8 педагогическим критериям, включая точность, харизматичность и поддержку. Также было проведено исследование, в котором студенты использовали MathBuddy и другие системы по обучению математике. Результаты показали, что MathBuddy значительно улучшает поддержку учеников, обеспечивая более эмоционально чувствительный подход к обучению. Мы также использовали автоматические метрики для оценки качества ответов, доказав значительное улучшение в педагогическом качестве в сравнении с другими моделями. ## Значимость MathBuddy может быть применена в различных областях образовательных технологий, включая онлайн-курсы, удаленное обучение и программы поддержки обучения. Она предоставляет значительные преимущества, такие как более эмоционально чувствительный подход к обучению, адаптивность к потребностям каждого ученика и улучшение общего качества обучения. MathBuddy может стать основой для создания более эмоционально настроенных и эффективных систем обучения, которые учитывают не только технические аспекты, но и психологические факторы учеников. ## Выводы Мы п