Evaluating Large Language Models for Cross-Lingual Retrieval

## Контекст Информационное поисковое восстановление (IR), особенно в сценариях, когда целевые документы и запросы находятся на разных языках (Cross-Lingual IR, CLIR), является ключевым вопросом в поисковых системах. Обычно, эта задача решается с помощью двух этапов: первый этап использует методы языкового перевода и лексического поиска, а второй этап — модели на основе Large Language Models (LLMs) для повторного оценивания результатов. Однако текущая практика имеет существенные недостатки: перевод языка является дорогостоящим и чувствительным к ошибкам, имеющим потенциал для передачи ошибок между стадиями. Таким образом, необходимо построить эффективную систему CLIR, которая будет свободна от традиционного подхода. ## Метод Мы рассматриваем CLIR с использованием LLM-based rerankers, оптимизированных для задач первого и второго этапа. Для первого этапа используется би-энкодер на основе многоязычных моделей (Multilingual Bi-Encoder), который извлекает фичу из запросов и документов в виде векторов. Для второго этапа используется LLM-based reranker, тренированный с использованием инструкций (instruction-tuned LLM). Мы проводим эксперименты на двух типах данных: passage-level и document-level CLIR. Мы сравниваем наш подход с традиционными методами, включая перевод с помощью машинного перевода (MT) и listwise rerankers. ## Результаты Наши эксперименты показали, что многоязычные би-энкодеры как первое этапное решение дают более высокие результаты по отношению к стандартному подходу с переводом. Также, мы обнаружили, что инструкция-тренированные LLM-based rerankers показывают очень высокий уровень эффективности при сравнении с listwise rerankers. Без перевода, текущие state-of-the-art rerankers не смогут показать сопоставимую эффективность в CLIR. ## Значимость Наши результаты показывают, что система CLIR может быть эффективно реализована без использования традиционного метода перевода. Многоязычные би-энкодеры дают лучший результат в первой стадии, и инструкция-тренированные LLM-based rerankers демонстрируют сопоставимую эффективность с самыми современными подходами во второй стадии. Это открывает новые возможности для создания более эффективных и простых CLIR-систем. ## Выводы Мы являемся первыми, кто изучил взаимодействие между рейкерсами и ретейкерсами в двух этапной CLIR с использованием LLMs. Наши результаты показывают, что традиционные подходы к переводу необязательны, и что модели на основе LLMs могут эффективно работать в CLIR. Будущие исследования будут сфокусированы на улучшении многоязычных моделей и их интеграции в более сложные поисковые системы.