BiXSE: Improving Dense Retrieval via Probabilistic Graded Relevance Distillation

#### Контекст Отношение "семантического поиска" к "информационному поиску" в целом можно сравнить со связью "экзотической кухни" к "повседневной кухне" — оно новое, сложное и еще не достигло широкого распространения. Dense retrieval, являющийся одним из основных компонентов semantic search, широко применяется в системах веб-поиска и корпоративных системах, но существуют проблемы с его эффективностью. Большинство существующих моделей для обучения dense retrieval полагаются на бинарные метки релевантности, где каждая пара "запрос-документ" либо релевантна, либо нет. Этот подход игнорирует тот факт, что релевантность часто субъективна и может быть представлена на промежуточном уровне. Более того, LLMs (large language models) стали позволять генерировать fine-grained релевантности, что может улучшить обучение моделей. Таким образом, целью данного исследования является разработка метода, который мог бы использовать эти промежуточные метки релевантности для повышения точности и стоимости обучения моделей. #### Метод Предлагаемый подход, названный BiXSE (Binary Cross-Entropy over LLM-Generated Graded Relevance), является простым и эффективным методом обучения, который использует binary cross-entropy (BCE) для оптимизации LLM-generated graded relevance scores. Эти scores подразумевают промежуточные значения релевантности, которые могут быть представлены в виде вероятностей. BiXSE игнорирует сложные подходы, такие как pairwise и listwise losses, которые требуют множества меток релевантности для каждого запроса. Вместо этого оно использует in-batch negatives, что позволяет эффективно обучать модель с меньшими затратами на аннотации и вычисления. Эта модель преобразует вероятности во финальные предсказания, используя техники, которые становятся возможными благодаря последним разработкам в области LLMs. #### Результаты Чтобы проверить эффективность BiXSE, проведены испытания на нескольких наборах данных, таких как MMTEB (для sentence embedding) и BEIR, TREC-DL (для retrieval). В этих экспериментах BiXSE показала себя лучше, чем модели, основанные на softmax-based contrastive learning (InfoNCE). Более того, BiXSE показала почти такие же результаты, как и модели с pairwise ranking, но с значительно меньшими затратами на обучение. Это означает, что BiXSE может предоставить мощный и эффективный метод для обучения dense retrieval с помощью LLM-supervised data, уменьшая необходимость в многочисленных метках релевантности и улучшая общую эффективность. #### Значимость Предложенный подход имеет широкие области применения, включая веб-поиск, корпоративные системы поиска и даже медицинские системы, где требуется точный semantic search. Одним из основных преимуществ BiXSE является своя экономичность, так как он требует меньшего количества аннотаций и ресурсов для обучения. Это может привести к созда