GRADE: Generating multi-hop QA and fine-gRAined Difficulty matrix for RAG Evaluation

## Контекст В последнее время искусственный интеллект (AI) получил широкое распространение в различных областях, в том числе в области знаний-интенсивных задач (knowledge-intensive NLP tasks). Одной из наиболее популярных парадигм в этой области является Retrieval-Augmented Generation (RAG). Эта парадигма объединяет систему вывода и систему поиска информации, чтобы обеспечивать более точные и содержательные ответы на текстовые запросы. Однако существуют значительные проблемы с точки зрения оценки этих систем. Например, существующие бенчмарки часто пренебрегают сложностью задачи, включая возможность многостадийного решения и взаимосвязь между сложностью поиска и глубиной рассуждения. Именно этот аспект требует углубленного изучения, и в этом связи был разработан проект \textsc{GRADE}, который предлагает новую метрику для оценки сложности задачи. ## Метод Методология проекта \textsc{GRADE} основывается на создании синтетической многошаговой (multi-hop) датасета для оценки систем RAG. Для этого были использованы фактические новостные статьи, из которых извлекались знания в виде графов. Далее, эти графы были расширены с помощью семантического кластеризации, что позволило восстановить отсутствующие связи и улучшить качество данных. Таким образом, был получен набор задач, где каждая из них может быть решена за один или несколько шагов (hops). Был также разработан 2D-дifficulty matrix, который отражает сложность поиска и глубину рассуждений. Эта модель позволяет оценивать не только отдельные задачи, но и всю систему RAG в целом. ## Результаты Эксперименты показали, что \textsc{GRADE} эффективно определяет сложность задач и обеспечивает точную оценку RAG-систем. Было проанализировано несколько моделей и достаточно большой выборки задач. Результаты показали, что оценочные метрики \textsc{GRADE} показывают сильную корреляцию с реальными ошибками системы, что делает их полезными для диагностики. Было также выявлено, что системы с более низкой сложностью поиска и меньшей глубиной рассуждения проявляют лучший результат, а \textsc{GRADE} дает возможность определять эти характеристики. ## Значимость Разработанный фреймворк \textsc{GRADE} может быть применен в различных областях, где используются RAG-системы, например, в медицине, в области юриспруденции, в образовательных системах. Он позволяет проводить подробный анализ характеристик задач, чтобы выявлять слабые места в системе и улучшать ее. Также \textsc{GRADE} может использоваться для создания более сложных и реалистичных датасетов, чтобы повысить качество обучения и отбора моделей. Такой подход может привести к повышению эффективности