Benchmarking Information Retrieval Models on Complex Retrieval Tasks

## Контекст Современные текстовые задачи, основанные на больших языковых моделях (LLMs), демонстрируют поразительную гибкость и мощь в решении различных сложных задач. Однако реализация эффективных моделей для рекомендаций и поиска текстовых данных еще не достигла такого уровня развития. Особенно трудно справляться с задачами, требующими обработки запросов, содержащих множество частей, ограничений и требований, выраженных на естественном языке. Эти задачи, где запросы естественного языка представляют собой несколько элементов с различными требованиями, являются естественным продолжением простых запросов, которые используются в большинстве существующих рекомендательных систем. Хотя пользователи все чаще ожидают, что системы поиска смогут обрабатывать более конкретные и затруднительные запросы, существуют недостатки в ресурсах для оценки способности моделей работать в таких сложных ситуациях. Для лучшего понимания потенциала существующих моделей и стимулирования развития новых, более мощных моделей, требуется создание широкого набора разнообразных задач, который бы отражал реальные условия применения. ## Метод Для решения указанных проблем был разработан набор задач, который отражает реальные условия применения моделей поиска. Эти задачи включают не только простые запросы, но и более сложные, содержащие несколько частей и требований в естественном языке. Для оценки способности моделей выполнять такие задачи были выбраны несколько современных моделей, которые были протестированы на различных наборах данных. Кроме того, было рассмотрено влияние различных техник улучшения запросов, в том числе использование технологий БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ для расширения и перефразирования запросов, на качество результатов поиска. Было проведено упорядочение результатов моделей с различными подходами, чтобы сравнить их способности выполнять сложные задачи поиска. ## Результаты В результате экспериментов было проанализировано качество работы различных моделей на сложных задачах поиска. Было выявлено, что даже лучшие модели способны достичь только среднего качества результатов, с nDCG@10 порядка 0.346 и R@100 около 0.587. Хотя использование технологий расширения и перефразирования запросов на основе БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ может улучшить качество результатов для менее мощных моделей, сильнейшие модели показали снижение качества во всех метриках при применении любых методов перефразирования. Таким образом, даже самые мощные модели сейчас сталкиваются с ограничениями в выполнении сложных задач поиска. ## Значимость Результаты этого ис