How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models

## Контекст Поиск информации (information retrieval, IR) является ключевым заданием в области крупномасштабных текстовых данных. Одним из важных аспектов IR является **reranking** — процесс сортировки результатов поиска по релевантности. Несмотря на развитие технологий, существуют проблемы, такие как ограниченная общезначимость результатов, особенно при работе с неизвестными или непредсказуемыми запросами. Недавние успехи в области больших языковых моделей (LLM — Large Language Models) потенциально могут решить эти проблемы, но имеют ограничения в скорости и эффективности. В статье авторы проводят систематический эмпирический анализ существующих методов reranking, включая LLM-based, lightweight и zero-shot подходы, чтобы определить их эффективность и ограничения. ## Метод Для анализа использованы 22 метода reranking, включая 40 вариантов на основе различных языковых моделей (LLM). Эксперименты проводились на трех стандартных бенчмарках: TREC DL19, DL20 и BEIR. Для оценки общей и новой релевантности запросов использовался новый тестовый набор данных. Авторы также проводили эмпирический анализ, изучая влияние гипотез о неодинаковой скорости обучения, архитектуре моделей и их эффективности. ## Результаты Эксперименты показали, что LLM-based rerankers показывают значительное превосходство на знакомых запросах, но их результаты на новых запросах значительно ухудшаются. Lightweight модели, несмотря на меньшую скорость, показывают высокую эффективность в работе с неизвестными запросами. Анализ показал, что многие новые запросы требуют новых решений, так как существующие модели не достаточно гибки в обработке неизвестных случаев. ## Значимость Результаты имеют большое значение для развития reranking-систем. Они могут быть применены в различных областях, таких как поисковые системы, мобильные приложения, искусственный интеллект в различных приложениях. Лайтвэйт-модели могут стать альтернативой LLM-based, предоставляя эффективность при новых запросах. Ограничения существующих методов могут стать мотивацией для развития новых подходов. ## Выводы LLM-based rerankers демонстрируют высокую эффективность на знакомых запросах, но страдают от ограниченной общей релевантности на новых запросах. Lightweight-модели, несмотря на меньшую скорость, могут предоставить более гибкую и эффективную альтернативу. Будущие исследования должны сосредоточиться на развитии гибких моделей, которые могут более эффективно обрабатывать неизвестные запросы.