Can Synthetic Query Rewrites Capture User Intent Better than Humans in Retrieval-Augmented Generation?

## Контекст Системы мультитурного вопроса-ответа с использованием генерируемых данных (Retrieval-Augmented Generation, RAG) широко применяются для решения задач, требующих анализа контекста и эффективного поиска информации. Однако эти системы часто сталкиваются с запросами, описанными неполно или неточно, что создает проблемы в понимании пользовательского запроса. Одним из ключевых элементов решения этой проблемы является **query rewriting**, т.е. преобразование запроса в более точную и понятную форму. Традиционно это делается с помощью человеческих аннотаторов, которые пытаются разгадать замысел пользователя. Однако их работа часто ограничивается лимитами человеческого понимания и выразительности, что приводит к разрыву между той формой запроса, которую получает модель, и той, которая была задумана пользователем. Такой разрыв может привести к неточным ответам. В этой статье мы рассматриваем возможность использования синтетических запросов, генерируемых моделями, в качестве более эффективного способа передачи пользовательского запроса в систему RAG. ## Метод Мы предлагаем **SynRewrite**, модель, основывающуюся на синтетических данных для генерирования высококачественных переписанных запросов. Метод работает следующим образом: 1. **Синтез данных**: используется GPT-4o, у которого предоставляются диалоговый контекст, текущий запрос, документы и ответы, чтобы генерировать качественные синтетические запросы. 2. **Обучение модели**: полученные данные используются для обучения модели Flan-T5, которая научится преобразовывать диалоговый контекст и запросы в качественные синтетические запросы. 3. **Оптимизация**: для дальнейшего улучшения результатов используется DPO-алгоритм, который позволяет модели подстраиваться под особенности задачи, учитывая ответы генеративной модели. ## Результаты Мы проверили SynRewrite на двух датасетах: TopiOCQA и QRECC. Эксперименты показали, что синтетические запросы, генерируемые SynRewrite, не только существенно превосходят качество результатов, полученных от человеческих переписанных запросов, но и демонстрируют высокую эффективность в обеих задачах: поиске и генерировании. Таким образом, синтетические запросы не только позволяют лучше понять пользовательский запрос, но и упрощают процесс обучения модели RAG, делая ее более эффективной и точной в реальных условиях. ## Значимость Этот подход имеет широкое применение в различных системах, требующих понимания пользовательского запроса, таких как системы поддержки клиентов, системы предоставления информации и системы автоматического обучения. В отличие от традиционных методов, которые тре