From Ranking to Selection: A Simple but Efficient Dynamic Passage Selector for Retrieval Augmented Generation

## Контекст РетриEва-аугмемтиед генерация (RAG) системы широко используются для решения задач, требующих обработки сложных запросов и синтеза информации из различных документов. Одним из основных элементов этих систем является модуль переупорядочения (reranking), который отвечает за выбор наиболее подходящих документов для генерации ответа. Существующие подходы, такие как point-wise и list-wise методы, сталкиваются с проблемами, такими как неэффективность в обработке многоуровневых запросов и недостаточная адаптивность в выборе документов. Эти ограничения приводят к потерям в точности и работе системы в целом. Мотивация заключается в разработке более эффективного метода переупорядочения, который мог бы преодолеть эти ограничения и повысить производительность RAG-систем. ## Метод Предлагаемый подход, Dynamic Passage Selector (DPS), представляет собой новую модель переупорядочения, которая подходит к выбору документов как к задаче супервизованного обучения. Модель обучается используя методы глубокого обучения, которые учитывают не только содержание документов, но и их взаимосвязи. DPS адаптивно выбирает набор документов, который используется для генерации ответа, не ограничиваясь фиксированным размером набора (например, Top-K). Эта архитектура включает в себя несколько ключевых компонентов, такие как представление документов, механизм сравнения и интеграция в RAG-пайплайн. Модель тренируется на нынешних данных, которые отражают сложные запросы, и оценивается с помощью метрик, таких как F1-мери и ROUGE, для оценки качества. ## Результаты Результаты экспериментов показывают, что DPS показывает преимущества по сравнению с текущими методами. На датасете MuSiQue, DPS демонстрирует увеличение F1-меры на 30.06% по сравнению с Qwen3-reranker и на 15.4% по сравнению с RankingGPT. Эти результаты указывают на то, что DPS эффективно отбирает документы для генерации, даже при сложности запросов. Дополнительно, DPS показывает улучшение в параметрах точности и recall, что указывает на преимущество адаптивного выбора документов. Эти результаты были получены на пяти разных датасетах, что подтверждает общую эффективность нового подхода. ## Значимость Данный подход может использоваться в системах RAG для обработки сложных запросов, включая многоуровневые задачи, где необходимо синтезировать информацию из различных источников. DPS может применяться в области обработки естественного языка, в том числе для систем поиска информации, генерации ответов и других приложений, требующих высокого качества выбора документов. Это включает приложения в области здравоохранения, финансов и юриспруденции, где то