RAG-PRISM: A Personalized, Rapid, and Immersive Skill Mastery Framework with Adaptive Retrieval-Augmented Tutoring

## Контекст В последние годы системы Fourth Industrial Revolution (4IR) внедряются во все большей степени в различные сферы жизнедеятельности, включая промышленность, здравоохранение, образование и даже жизнь каждого человека. Этот процесс способствует значительному расширению возможностей людей, но при этом приводит к росту спроса на новые компетенции и навыки. Однако существует значительная проблема — старые работники часто имеют трудности с погружением в новые технологии, что приводит к росту "skills gap" (разрыва в навыках). Этот разрыв широко известен в области STEM (science, technology, engineering, mathematics), где востребованы навыки в сферах robotics, automation, artificial intelligence и cybersecurity. Образовательные программы, нацеленные на повышение навыков, должны учитывать разнообразие фона, стилей обучения и мотивации учащихся. Оптимальные решения должны обеспечить эффективность и быструю настройку на индивидуальные потребности определенного обучающегося, а также предоставлять качественный и быстрый образовательный процесс с минимальными затратами. Наша цель — разработать адаптивный фреймворк обучения, который использует Retrieval-Augmented Generation (RAG) и Generative AI для персонализированного и эффективного обучения. ## Метод Мы предлагаем RAG-PRISM, фреймворк, который объединяет Retrieval-Augmented Generation (RAG) с Generative AI для обеспечения адаптивного обучения. Основной элемент этого фреймворка — оптимизация содержимого для каждого учащегося на основе двух ключевых показателей: document hit rate и Mean Reciprocal Rank (MRR). Эти показатели позволяют гибко настроить квалификационные требования для каждого обучающегося, учитывая их уровень подготовки и специфические интересы. Для повышения качества обучения используется синтетическая датасет, повторяющий работу обучающихся. Мы также использовали LLM (Large Language Models), такие как GPT-3.5 и GPT-4, для генерации ответов, которые последуют за тем, что требуется от учащихся. Для оценки качества мы сравниваем генерируемое RAG-PRISM со стандартными ручными запросами, включая вопросы, стандартно поступающие от обучающихся, и оцениваем их значимость и актуальность. ## Результаты Мы проводили эксперименты с двумя типами данных: 1) синтетическим датасетом, настроенным на имитацию работы обучающихся, и 2) ручным запросом, учитывающим реальные сценарии обучения. Мы оценивали добавленные в RAG-PRISM модели GPT-3.5 и GPT-4 для их удовлетворенности и наличия актуальных ответов. Результаты показали, что модель GPT-4 достигла 87% релевантности и 100% соответствия целям, что делает ее наиболее эффективной для обучения в сфере 4IR cybersecurity. Эта модель также доказала свою гибкость в создании персонализированного контента, ко