The Role of Vocabularies in Learning Sparse Representations for Ranking

#### Контекст В поисковых системах существует необходимость эффективно искать информацию, сопоставляя запросы с документами. Одним из подходов является Learned Sparse Retrieval (LSR), например, SPLADE, который использует спарсные представления для 1-го этапа соответствия. Несмотря на свои преимущества, существуют ограничения, связанные с возможностями точного представления запросов и документов в спарсе пространстве. В этой области интересны методы, которые улучшают точность и эффективность LSR, в том числе исследования роли вокабуляров в представлении данных. #### Метод Мы разработали систему тестирования на основе моделей BERT с выходным вокабуляром размера 100К. Одна модель была инициализирована с помощью метода ESPLADE (Expanded SPLADE), а другая — случайно. Модели были тренированы на реальных сетевых журналах поисковых запросов. Для улучшения баланса между эффективностью и точностью использовались логит-запросы и документы, урезанные до максимального размера. Эксперименты проводились с помощью оценочного набора данных, используя подход BM25 для сравнения. #### Результаты Эксперименты показали, что оба модели, ESPLADE и случайная, эффективны при использовании предельного бюджета вычислительных ресурсов по сравнению с оригинальным SPLADE. Однако ESPLADE проявила более высокую эффективность в сравнении с рандомным вокабуляром, не увеличив при этом стоимость вычислений. Это указывает на важность конфигурации вокабуляров для оптимального представления запросов и документов в LSR. #### Значимость Результаты имеют практическое значение в области Learned Sparse Retrieval. Они демонстрируют, что выбор размера и весов вокабуляров влияет на точность и эффективность LSR. Вокабуляры не только представляют значения, но и улучшают способность модели сопоставить запросы с документами. Эти находки открывают новые пути для улучшения LSR, сфокусировавшись на вокабулярной конфигурации. #### Выводы Основным достижением является то, что размер и предобученные веса вокабуляров играют ключевую роль в формировании представлений для LSR. Будущие исследования будут сфокусированы на точном определении параметров вокабуляров для достижения баланса между эффективностью и точностью в поисковых системах.