Retro*: Optimizing LLMs for Reasoning-Intensive Document Retrieval

#### Контекст Современные глубоко обученные языковые модели (LLM) позволяют решать сложные задачи, включая документ-регрессию (RAG), где необходимо выявлять информацию из документов для решения задач. Однако возникает проблема точной оценки связи между задачей и кандидатскими документами, особенно когда эта связь не является явной. Это создает серьезные обрестки для существующих методов информационного поиска (IR). Недостаток точности и эффективности в оценке связи приводит к неверным выводам и неэффективности в использовании ресурсов. Таким образом, нужна новая методология, которая бы учитывала тонкую логику при оценивании документов и повышала производительность в целом. #### Метод Мы предлагаем Retro*, новую систему для решения документ-регрессии, основанную на рейтинге согласно четко определенным критериям. Метод включает в себя следующие элементы: 1. **Рубрика-ориентированная оценка релевантности**: Retro* использует формальные критерии для оценки того, насколько документ отвечает требованиям задачи. Это позволяет получить развернутую интерпретируемую оценку релевантности. 2. **Множественные пути рассуждения**: Метод поддерживает тестирование, объединяя несколько логических траекторий в единый балл релевантности, что повышает точность оценки. 3. **Оптимизация через RL**: Мы предлагаем усовершенствованный алгоритм, который использует два композитных признака для оценки каждого образца во время тренировки. Эти черты обеспечивают глубокую работу с логическими задачами и эффективность в применении. #### Результаты Мы проверили Retro* на BRIGHT benchmark, что позволило сравнить его с другими существующими методами. Результаты показали, что Retro* показывает значительное превосходство в долготерминальной точности и эффективности. Таким образом, Retro* демонстрирует новую стандартную систему по работе с документ-регрессией, показывая выдающиеся результаты в сложных сценариях с малой или неявной связью между задачей и документом. #### Значимость Предложенная система может использоваться в различных областях, где требуется точная интерпретация документов, например, в здравоохранении, в системах поддержки решений и в системах управления бизнес-данными. В отличие от существующих подходов, Retro* обеспечивает: - **Точность**: Оценка релевантности с более высоким уровнем точности. - **Производительность**: Высокая скорость и эффективность при работе с большими объемами данных. - **Скейлинг**: Может работать в различных условиях с ресурсоемкими задачами. #### Выводы Retro* представляет собой совершенно новый подход к до