OPERA: A Reinforcement Learning--Enhanced Orchestrated Planner-Executor Architecture for Reasoning-Oriented Multi-Hop Retrieval

## Контекст В последнее время технологии генерирующих значимых ответов на основе вопросов (Retrieval-Augmented Generation, RAG) получили значительные улучшения благодаря развитию больших моделей языка (LLMs) и продвинутым системам доступа к документам (dense retrievers). Однако большинство существующих методов сталкиваются с трудностями при выполнении усложненных задач многошагового (многохопного) рассуждения, таких как устаревшие техники планирования, реформулирование запросов и отбор информации. Эти ограничения могут привести к поддельным результатам или неэффективным поисковым процессам. Целью этой работы является создание архитектуры, эффективно связывающей рассуждающий поиск и выполнение задач, чтобы улучшить ответы на запросы с многоступенчатым рассуждением. ## Метод Мы предлагаем метод под названием OPERA (Orchestrated Planner-Executor Reasoning Architecture), который включает в себя два главных модуля: Goal Planning Module (GPM) и Reason-Execute Module (REM). GPM декомпозирует запрос на множество подзадач (sub-goals), которые затем обрабатываются REM. REM включает специализированные модули для точного рассуждения и оптимального доступа к источникам. Для обучения OPERA мы предлагаем Multi-Agents Progressive Group Relative Policy Optimization (MAPGRPO), новый вариант метода политики градиента для многоагентных систем. Архитектура OPERA ориентирована на эффективное планирование и выполнение, чтобы улучшить точность и полноту ответов. ## Результаты Мы проводили эксперименты на нескольких сложных многошаговых задачах, включая ComplexWebQuestions и HotpotQA. Опыт показал, что OPERA превосходит текущие методы по метрикам точности и полноты ответов. В частности, OPERA показал значительное улучшение в сравнении с существующими системами, демонстрируя его эффективность в логическом планировании и выполнении задач. Эксперименты также продемонстрировали, что MAPGRPO позволяет улучшать процесс обучения и применяться для повышения уровня сложности задач, которые могут быть решены OPERA. ## Значимость Предложенная архитектура OPERA имеет широкие возможности применения в области генерирующих технологий, таких как роботов чата и системы поддержки решений. Она имеет преимущества по сравнению с другими подходами в ситуациях, требующих логического рассуждения и многошагового доступа к информации. Ожидается, что OPERA сможет стать ключевым инструментом для улучшения задач, требующих высокого уровня рассуждения, таких как работа с новостными данными, обработка технических запросов и поиск решений в области финансов и юриспруденции. ## Выводы Мы представили OPERA, новую архитектуру для многошагового рассуждения, которая основывается на системах генерирующих ответы на в