Modernizing Facebook Scoped Search: Keyword and Embedding Hybrid Retrieval with LLM Evaluation

## Контекст В сети социальных сетей, таких как Facebook, пользователи часто используют поисковые системы для поиска информации и установления контактов в социальном контексте. Однако классические методы поиска, основанные только на ключевых словах, часто ограничиваются связанным с контекстом пониманием пользовательских запросов. Это приводит к неудовлетворительной точности и скверной разнообразию результатов. Другим важным аспектом является то, что существующие системы поиска часто не включают в свою работу семантическое понимание, что снижает эффективность и связанность с контекстом. Мы предлагаем рамыку, которая совмещает классический ключевой поиск с подходом на основе векторов входа (Embedding-Based Retrieval, EBR). Это позволяет улучшить качество и разнообразие поисковых результатов, обеспечивая более контекстуально связанные результаты для пользователей в конкретной группе социальной сети. ## Метод Мы предлагаем рамыку, которая сочетает классический ключевой поиск с подходом на основе векторов входа (Embedding-Based Retrieval, EBR). Наш подход интегрирует семантический поиск в существующую конвейерную систему поиска по ключевым словам. Мы тесно интегрируем EBR в систему, чтобы улучшить релевантность результатов и разнообразие. Метод основывается на непрерывных векторах входа, которые представляют пользователя, поисковые запросы и контент. Эти векторы обучены с помощью трансформеров, чтобы лучше ловить связи между пользователями, группами и содержимым. Наша модель обучается на огромной коллекции данных, включающих поисковые запросы, группы и посты, чтобы оптимизировать релевантность и разнообразие поисковых результатов. Мы также внедрили новую оценочную модель, использующую большие модели языка (LLMs), что позволяет автоматически оценивать релевантность поисковых результатов на основе контекста. ## Результаты Мы провели ряд экспериментов, используя реальные поисковые запросы и данные из групп Facebook. Наши результаты показывают, что интегрированный подход к поиску, который сочетает ключевой поиск и EBR, значительно повышает качество и разнообразие результатов поиска. Мы оценивали наши результаты с помощью онлайн-метрик, таких как количество щелчков, времени на странице и коэффициент возврата пользователей, что показало значительное улучшение пользовательского кредита в сравнении с классическим ключевым поиском. Кроме того, мы использовали LLM-based evaluation, чтобы обеспечить скалируемую и точную оценку релевантности. Это позволило нам измерить качество результатов поиска в более строгом контексте, продемонстри