## Контекст Основная задача технологий-обучающихся средах — обеспечить студентам доступ к релевантному материалу, связанному с вопросами, возникающими во время самостоятельного изучения. Большие языковые модели (LLMs) появились как мощные инструменты для обработки информации, однако их эффективность часто ограничивается общими задачами, не имеющими явного алгоритмического подхода к конкретным доменам, таким как учебники или слайды. Особенно трудно добиться высокого качества алгоритмов в области поиска и воспроизведения ответа на вопросы в учебных материалах. Наша исследовательская группа определилась с целью протестировать методы Retrieval-Augmented Generation (RAG), которые могут повысить качество работы программ-помощников в обучении. В статье особое внимание уделено сравнению двух подходов: стандартного RAG и GraphRAG, который использует в своей основе знания из графа. ## Метод Мы разработали специальный датасет, состоящий из 477 пар вопрос-ответ, каждая из которых связана с отдельной страницей учебника по математике. Этот датасет позволил нам протестировать системы RAG в реальных условиях. Методом RAG используется генеративная модель для поиска и обработки ответов на основе входных запросов. Методом GraphRAG используется дополнительная структура данных — граф, хранящий связи между концепциями и ключевыми понятиями, что должно улучшить поиск информации. Мы оценивали качество систем по двум критериям: точности поиска (насколько верна страница, предложенная алгоритмом) и качество генерируемых ответов (насколько правильно и полно они отвечают на вопрос). ## Результаты Наши эксперименты показали, что RAG выполняет поиск с высокой точностью, выделяя только самое необходимое количество страниц, что приводит к лучшему результату по F1-мере (для того, чтобы измерить качество сгенерированных ответов). Метод GraphRAG, несмотря на свои преимущества в моделировании связей между понятиями, часто возвращает большое количество лишней информации, что снижает качество ответов. Мы также проводили эксперименты с реиндексацией страниц с помощью LLM, но это не привносило существенного выигрыша и, в некоторых случаях, даже приводило к фантомным ответам. ## Значимость Результаты нашего исследования имеют большое значение для создания надежных систем помощи в обучении. Метод RAG более подходит для задач, где требуется высокая точность в поиске, в то время как GraphRAG может быть эффективнее для работы с материалами, где связи между концепциями играют ключевую роль. Наши находки могут способствовать развитию сов