Purely Semantic Indexing for LLM-based Generative Recommendation and Retrieval

## Контекст Одним из ключевых средств для повышения эффективности генерируемых рекомендательных систем является использование semantic identifiers (IDs), позволяющих адаптировать большие языковые модели для рекомендаций и поиска. Несмотря на позитивные результаты, существующие методы страдают от проблемы semantic ID conflicts, когда семантически близкие документы или элементы получают одинаковые идентификаторы. Чтобы устранить это несоответствие, ранее применялись неэффективные методы, такие как добавление несемантичных токенов, что приводило к ненужным расширениям поискового пространства и ухудшению качества рекомендаций. Мы рассматриваем стратегию purely semantic indexing, которая позволяет устранить конфликты и сохранить семантический смысл при идентификации документов. ## Метод Мы предлагаем метод purely semantic indexing, который позволяет устранить конфликты в semantic IDs с помощью новых моделей. Наши алгоритмы — exhaustive candidate matching (ECM) и recursive residual searching (RRS) — работают с большими выборками документов и моделями, не требуя дополнительных несемантичных токенов. Эти методы используют расширенные вычисления семантических характеристик документов, чтобы сгенерировать уникальные и семантически близкие идентификаторы. Мы также расширяем их возможности, используя модели семантического поиска, чтобы обеспечить эффективность и точность в рекомендациях. ## Результаты Мы проверили эффективность наших методов на данных серьезных пользовательских запросов в следующих областях: системы рекомендаций, поиск продуктов и источников документов. В экспериментах мы сравнивали наши результаты с классическими методами, особое внимание уделяя улучшению показателей в ситуациях cold start, когда рекомендации необходимо давать на основе относительно небольших данных. Эксперименты показали, что our approach significantly improves both overall and cold-start performance, что является свидетельством эффективности и надежности нашего подхода. ## Значимость Предлагаемый подход может быть применен в различных сферах, включая рекомендательные системы, поисковые системы и анализ документов. Он обеспечивает точнее и эффективнее рекомендаций, уменьшает поисковое пространство и повышает качество решений в сложных задачах. Этот подход также может повысить производительность моделей языкового моделирования, обеспечивая лучшую уникальность и семантическую точность в генерируемых данных. ## Выводы Мы представляем новую форму semantic indexing, которая устраняет конфликты в semantic IDs и повышает качество рекомендаций в сложных задачах. Наши результаты показывают, что эти методы эффективны в различных сценариях, в том числе в cold-start ситуациях. Мы планируем продолжить работу над усовершенствованием этой технологии, в том числе расширением ее применения к другим типам моделей и сложным зада