Test-time Corpus Feedback: From Retrieval to RAG

## Контекст Информационное восстановление (IR) и текстовое понимание являются ключевыми областями искусственного интеллекта, которые находят применение в различных приложениях, включая поисковые системы и диалоговые системы. Одна из сложностей в этих областях заключается в том, чтобы обеспечить высокую точность и человеческий качество ответов при ограниченных ресурсах и временных ограничениях. Классические подходы к IR основываются на классификации, опорных векторах и других статических методах. Однако эти подходы часто не способны адаптироваться к контексту и неоднородности данных. Недавние развития в области генерирующих моделей и адаптивного IR позволили ввести новые подходы, которые могут оптимизировать результаты в реальном времени. Одна из таких технологий — Retrieval-Augmented Generation (RAG), которая объединяет документов из внешних источников с мощными генерирующими языковыми моделями. Тем не менее, большинство RAG-систем статичны по дизайну, что ограничивает их эффективность в сложных задачах, которые требуют итеративного поиска и высокоточного восстановления. В этом контексте возникает потребность в развитии более динамичных методов, которые могут использовать фидбек от пользователя или системы для улучшения результатов. ## Метод В центре данного исследования лежит RAG-фреймворк, который использует документы из внешнего корпуса для улучшения понимания и генерации ответов. Методология основывается на двух основных компонентах: 1) внешний корпус документов, используемый для восстановления информации, и 2) модель генерирующего языка, которая формирует ответы на основе полученной информации. Ключевым инновационным аспектом является внедрение адаптивного механизма фидбека. Этот механизм позволяет модели адаптироваться к новым сигналам, которые могут быть получены как от пользователя, так и от системы. Разработанная архитектура включает в себя следующие этапы: 1. **Инициализация корпуса**: Выбор и инициализация внешнего корпуса документов. 2. **Извлечение фидбека**: Идентификация и извлечение фидбека из пользовательских запросов или интерактивных сигналов. 3. **Обновление модели**: Использование фидбека для обновления модели и внесения изменений в корпус документов. 4. **Повторная итерация**: Запуск новой итерации с учетом обновленных данных. ## Результаты Исследование включало эксперименты на нескольких датасетах, включая TREC-COVID, CQADupStack и GovReport. Были проведены сравнительные анализы с другими подходами, включая традиционный IR и статические RAG-системы. Основные результаты включают: -