Can we Evaluate RAGs with Synthetic Data?

## Контекст В статье рассматривается вопрос оценки моделей вывода с использованием ранжирования ответных моделей с помощью вывода (Retrieval-Augmented Generation, RAG). Несмотря на значительные улучшения LLMs, оценка их работы становится сложной из-за отсутствия доступных классических тренировочных данных. Авторы исследуют возможность использования синтетического QA-данных, генерируемых LLMs, в качестве альтернативы настоящим тренировочным данным. Целью является определение того, насколько эффективны синтетические данные для сопоставления рангов RAG-моделей с помощью признаков, подходящих для любого конкретного задания. ## Метод Авторы проводят вычислительные эксперименты, используя две разные группы гипотез. В первом эксперименте они меняют параметры ретрайвера, сохраняя постоянную генераторную модель. Во втором эксперименте меняются параметры генератора, при этом ретрайвер остается неизменным. Используются четыре различных набора данных: два открытых и два проприетарных. Оценка производится по возможности моделей RAG классифицировать результаты ранжирования в зависимости от параметров модели. ## Результаты Результаты показывают, что синтетические бенчмарки могут значительно повысить надежность оценки RAG-моделей. Это продемонстрировано на двух открытых наборах данных, где RAG-модели с разными параметрами ретрайвера показали схожие результаты с ранжированием, основанным на тренировочных данных. Однако есть небольшой разрыв в результатах, когда сравниваются ранжирования, основанные на генераторах с разными архитектурами. Это может быть вызвано тем, что синтетические данные недостаточно эффективно копируют задачи, которые необходимы для сопоставления реальных данных, и стилистическую биазу, присущую определенным LLMs. ## Значимость Синтетические данные могут стать важной альтернативой для оценки RAG-моделей в ситуациях, когда данные от пользователей недоступны. Улучшение поддержки синтетических данных может повысить надежность и скорость развития RAG-моделей, особенно в области прикладных задач. Однако необходимо продолжить работу над уменьшением разрыва между синтетическим и реальным ранжированием, чтобы обеспечить более точную интерпретацию результатов. ## Выводы Авторы подтверждают, что синтетические данные могут быть эффективным инструментом для оценки RAG-моделей, особенно когда стандартные данные отсутствуют. Однако необходимо продолжать работу над созданием более универсальных синтетических тестов, чтобы улучшить их точность. Будущие исследования должны сфокусироваться на уменьшении стилистических биаз и создании более широкой ст