Hand by Hand: LLM Driving EMS Assistant for Operational Skill Learning

## Контекст Современные технологии обучения включают в себя возможность получать оперативную помощь от текстово-ориентированных бо LLM (Large Language Models), которые предлагают пользователям текстовые фидбеки и советы. Однако, в сфере обучения оперативным умениям, основанным на физических действиях и требующих тренировки в ходе практических занятий, недостаточно текстовых подсказок для достижения максимальной эффективности. Это связано с тем, что текстовые модели LLM не учитывают важную роль кинестетического ощущения, которая играет ключевую роль в процессе обучения физических навыков. Эта проблема приводит к несоответствию между текстовыми способами обучения и оптимальному восприятию пользователями техник оперативных навыков. Наша мотивация заключалась в развитии новых подходов к обучению оперативных навыков, используя возможности LLM, но с учетом кинестетических аспектов и реальности пользователя. ## Метод Мы предложили новую методологию "Align-Analyze-Adjust", которая позволяет LLM-системе контролировать механический тренажер с использованием Electrical Muscle Stimulation (EMS), чтобы обеспечить гибкую и точную корректировку пользовательских движений во время обучения. Мы разработали FlightAxis, что является инструментом для оперативного обучения навыкам, интегрирующим LLM с EMS-тренажером. Модель FlightAxis работает над собственным пониманием навыков, совместно с LLM, и обеспечивает пользователю кинестетическую поддержку во время процесса обучения. Мы выбрали реактивный подход в разработке, чтобы помочь пользователям регулировать свои движения в реальном времени на основе фидбека ЛЛМ. ## Результаты Мы провели эксперименты с пользователями, которые выполняли задачи симулятора полета, при помощи FlightAxis. Эксперименты показали, что пользователи очень быстро приспособились к LLM-системе, которая следила за их движениями и корректировала их с помощью EMS. Мы измерили уменьшение времени выполнения задач и улучшение точности движений в работе с LLM. Более того, пользователи отметили, что получение кинестетической поддержки из текстовидного LLM-системы улучшила их понимание ошибок и увеличила их вовлечение в процесс обучения. ## Значимость Этот подход имеет большое значение для области обучения оперативных навыков, таких как эвакуация, безопасность в сложных условиях или спасательные маневры. Он может быть применен в обучении различных профессиональных навыков, где требуется ценность кинестетических действий. Мы видим возможность расширения этого подхода на другие сферы, такие как хирургия, техническое обслуживание или спортивное обучение. Основное преимущество FlightAxis заключается в том, что он обесп