jina-reranker-v3: Last but Not Late Interaction for Document Reranking

#### Контекст Исследование сосредоточено на развитии модели reranker-v3 для релевантного рейтинга документов в многоязычной среде. Существующие модели, такие как ColBERT, используют последовательные операции: предварительное кодирование документов и затем вычисление взаимодействий с помощью многовекторного поиска. Однако такой подход может быть неэффективен в ситуациях, когда необходимо учитывать взаимодействия между документами в реальном времени. Наша модель jina-reranker-v3 предлагает более эффективное графическое решение, используя самовыделяющееся внимание внутри контекстной группы документов, что позволяет проводить раннюю интерактивную обработку документов и объединять их контексты до получения контекстных векторов. #### Метод Модель jina-reranker-v3 основывается на самовыделяющемся внимании с трансформерами, которое работает в ограниченной контекстной группе документов. Основная идея заключается в том, чтобы взаимодействовать с каждым документом внутри этой группы, используя казуальное само-внимание, которое позволяет оценивать взаимосвязи между документами в течение одного прохода. Этот подход позволяет объединять контексты документов раньше, чем это делают многие другие модели. Затем для каждого документа извлекается контекстное представление из последнего токена. Эта модель имеет небольшой размер, но показывает высокую эффективность в задаче рейтинга документов. #### Результаты Мы провели эксперименты с популярным набором данных BEIR, чтобы оценить эффективность модели. jina-reranker-v3 показала state-of-the-art результаты с nDCG@10 = 61.94. Это продемонстрировано на основе многоязычных запросов, где наша модель существенно превосходит существующие модели. Кроме того, мы сравнили размер модели и увидели, что jina-reranker-v3 гораздо меньше, чем другие generative listwise rerankers, но при этом показывает почти такие же результаты. Это преимущество обусловлено своей компактной архитектурой. #### Значимость Модель jina-reranker-v3 может использоваться в различных областях, где необходимо выполнять быстрое и точное рейтинговое внимание к документам. Например, в поисковых системах, рекомендательных системах, или в любой ситуации, где релевантность документов к запросу критическа. Одно из основных преимуществ этой модели — это ее высокая эффективность и компактность, что делает ее привлекательной для распределенных систем и для использования на устройствах с ограниченными ресурсами. #### Выводы Модель jina-reranker-v3 достигла новых рекордов в рейтинговом внимании между документами, показав высокую эффективность и компактность. Такой подход может стать полезны