Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on Math Textbook
2509.16780v1
cs.IR, cs.AI, cs.HC
2025-09-24
Авторы:
Eason Chen, Chuangji Li, Shizhuo Li, Conrad Borchers, Zimo Xiao, Chloe Qianhui Zhao, Jionghao Lin, Kenneth R. Koedinger
Резюме на русском
## Контекст
Основная задача технологий-обучающихся средах — обеспечить студентам доступ к релевантному материалу, связанному с вопросами, возникающими во время самостоятельного изучения. Большие языковые модели (LLMs) появились как мощные инструменты для обработки информации, однако их эффективность часто ограничивается общими задачами, не имеющими явного алгоритмического подхода к конкретным доменам, таким как учебники или слайды. Особенно трудно добиться высокого качества алгоритмов в области поиска и воспроизведения ответа на вопросы в учебных материалах. Наша исследовательская группа определилась с целью протестировать методы Retrieval-Augmented Generation (RAG), которые могут повысить качество работы программ-помощников в обучении. В статье особое внимание уделено сравнению двух подходов: стандартного RAG и GraphRAG, который использует в своей основе знания из графа.
## Метод
Мы разработали специальный датасет, состоящий из 477 пар вопрос-ответ, каждая из которых связана с отдельной страницей учебника по математике. Этот датасет позволил нам протестировать системы RAG в реальных условиях. Методом RAG используется генеративная модель для поиска и обработки ответов на основе входных запросов. Методом GraphRAG используется дополнительная структура данных — граф, хранящий связи между концепциями и ключевыми понятиями, что должно улучшить поиск информации. Мы оценивали качество систем по двум критериям: точности поиска (насколько верна страница, предложенная алгоритмом) и качество генерируемых ответов (насколько правильно и полно они отвечают на вопрос).
## Результаты
Наши эксперименты показали, что RAG выполняет поиск с высокой точностью, выделяя только самое необходимое количество страниц, что приводит к лучшему результату по F1-мере (для того, чтобы измерить качество сгенерированных ответов). Метод GraphRAG, несмотря на свои преимущества в моделировании связей между понятиями, часто возвращает большое количество лишней информации, что снижает качество ответов. Мы также проводили эксперименты с реиндексацией страниц с помощью LLM, но это не привносило существенного выигрыша и, в некоторых случаях, даже приводило к фантомным ответам.
## Значимость
Результаты нашего исследования имеют большое значение для создания надежных систем помощи в обучении. Метод RAG более подходит для задач, где требуется высокая точность в поиске, в то время как GraphRAG может быть эффективнее для работы с материалами, где связи между концепциями играют ключевую роль. Наши находки могут способствовать развитию сов
Abstract
Technology-enhanced learning environments often help students retrieve
relevant learning content for questions arising during self-paced study. Large
language models (LLMs) have emerged as novel aids for information retrieval
during learning. While LLMs are effective for general-purpose
question-answering, they typically lack alignment with the domain knowledge of
specific course materials such as textbooks and slides. We investigate
Retrieval-Augmented Generation (RAG) and GraphRAG, a knowledge graph-enhanced
RAG approach, for page-level question answering in an undergraduate mathematics
textbook. While RAG has been effective for retrieving discrete, contextually
relevant passages, GraphRAG may excel in modeling interconnected concepts and
hierarchical knowledge structures. We curate a dataset of 477 question-answer
pairs, each tied to a distinct textbook page. We then compare the standard
embedding-based RAG methods to GraphRAG for evaluating both retrieval
accuracy-whether the correct page is retrieved-and generated answer quality via
F1 scores. Our findings show that embedding-based RAG achieves higher retrieval
accuracy and better F1 scores compared to GraphRAG, which tends to retrieve
excessive and sometimes irrelevant content due to its entity-based structure.
We also explored re-ranking the retrieved pages with LLM and observed mixed
results, including performance drop and hallucinations when dealing with larger
context windows. Overall, this study highlights both the promises and
challenges of page-level retrieval systems in educational contexts, emphasizing
the need for more refined retrieval methods to build reliable AI tutoring
solutions in providing reference page numbers.
Ссылки и действия
Дополнительные ресурсы: