## Контекст Современные боLковознарочные модели (LLM) эффективно используются в репасовом поиске, оС других стоLах. Однако использование LLM для расширения пасажей (пасажиров) часто приводит к проблемам, такLо как дрейфу смыслов и несоответствию семантического пространства, на котором они были обучены. Большая часть ранее предложенных методов расширения пасажей ориентирована на то, чтобы улучшить не только значимость фрагментов, но и их значимость для семантического моделирования. Кроме того, значимая часть ранее предложенных методов полагается на дополнительную информацию, такLо как доменные сведения, что делает их менее универсальными. Наша мотивированая модель "CLAP" (Coreference-Linked Augmentation for Passage Retrieval) предлагает новую архитектуру, которая обеспечивает более точное и глубокое понимание текста, решая проблему дрейфа смыслов и несоответствия семантического пространства. ## Метод Метод CLAP состоит в том, чтобы разделить пасажи на понятные фрагменты, выявить отношения между этими фрагментами, а затем создать подпробелы, которые будут дополнять пасажи. Основные шаги в том, чтобы разбить пасажи на атомарные фрагменты, которые относятся к одному смыслу и имеют собственную семантическую структуру. Затем, мы разрешаем цепочки знаков, чтобы улучшить понимание значимости. Наконец, мы генерируем подпробелы, которые учитывают топологические связи и не только фрагменты. Это позволяет нашей модели лучше понимать смысл пасажа и сопоставлять его с запросом. ## Результаты Мы провели ряд экспериментов, используя различные данные, в том числе MS MARCO, TREC DL и Natural Questions. Мы сравнивали нашу модель CLAP с другими методами расширения пасажей, такими как BM25, DPR и BM25 + MonoT5. Эксперименты показали, что CLAP улучшает эффективность поиска, увеличивая absolute nDCG@10 с 20.68% в сравнении с другими методами. Мы также показали, что CLAP имеет высокую гибкость и показывает свою эффективность при работе в разных доменах. Эти результаты подтверждают то, что CLAP является более универсальной моделью, чем многие другие, которые могут испытывать проблемы при работе в разных контекстах. ## Значимость CLAP является полезной в разных областях, в том числе в поиске информации, в системах рекомендаций и в работе с большими данными. Одним из основных преимуществ является ее универсальность и доступность в разных доменах, не требующей дополнительной информации. Это позволяет CLAP использоваться в различных системах, которые требуют более точного понимания текста. Мы также полагаем, что в будущем CLAP может быть использована для улучшения систем заданий, которые

## Контекст В e-commerce системах, поисковые модели часто опираются только на продуктные названия для оценки релевантности поисковых запросов. Такой подход ограничен, так как названия часто недостаточно информативны для точного понимания пользовательского запроса. Также, размерность и длительность продуктных описаний не позволяют использовать их в реальном времени для моделей ранжирования, которые требуют высокой производительности. Эти проблемы приводят к недостаточной точности релевантности. Наша мотивация заключается в создании эффективного и сжатого представления продуктных описаний, которое может быть использовано в реальном времени для улучшения поисковой релевантности. ## Метод Мы предлагаем ReLSum — рам框курентный фреймворк основанный на reinforcement learning (RL). Он использует модель третнего поколения широковещательной модели (LLM) для создания сжатых, относительных к запросу сводных текстов на основе описаний продуктов. Эти сводки подаются на вход кросс-энкодерной модели ранжирования. Метрики релевантности используются в качестве награды для обучения RL, чтобы выравнивать цели описания и оценки. Архитектура ReLSum включает в себя выделение ключевых фрагментов, генерацию описательных сводок и их оценку в контексте поискового запроса. ## Результаты Мы провели эксперименты на данных, содержащим продуктные описания и поисковые запросы. Результаты показали, что ReLSum превосходит современные подходы в offline метриках, таких как Recall@k и NDCG@k. Он также улучшил online метрики, включая клики и время на странице. Эти результаты подтверждают эффективность ReLSum в повышении релевантности поиска и повышении пользовательского заинтересованности. ## Значимость Приложение ReLSum может быть широко применено в e-commerce системах, системах поиска и рекомендаций. Его основные преимущества заключаются в более точных оценках релевантности, высокой производительности и стабильности. Будущие исследования будут направлены на улучшение моделей LLM для более точного сжатия и добиваться более высокого качества сводных текстов. ## Выводы ReLSum — это изобретательный подход для генерирования сводных текстов, который обеспечивает лучший trade-off между эффективностью и точностью. Наши результаты демонстрируют значительные улучшения в поисковой релевантности и пользовательском опыте в e-commerce. Мы планируем продолжить работу над улучшением моделей и оценки их на практике.

## Контекст Акurateльное моделирование пользовательских предпочтений является ключевым фактором для улучшения эффективности контентных рекомендательных систем. Несмотря на развитие технологий, многие существующие подходы продолжают использовать простой анализ пользователей, таких как среднее или конкатенация объединенных представлений предметов. Эти методы недостаточно точно отражают динамику пользовательских предпочтений, особенно взаимодействие между долгосрочными и краткосрочными предпочтениями. Таким образом, есть необходимость в разработке более точного метода описания пользователей, который учитывает эти динамические изменения. Наше исследование сосредоточено на разработке метода, который учитывает эти динамические изменения, используя технологии больших языковых моделей (LLM), чтобы улучшить качество рекомендаций. ## Метод Мы предлагаем LLM-driven Temporal User Profiling (LLM-TUP), метод, который явно моделирует короткосрочные и долгосрочные предпочтения пользователей. Метод использует временные метки взаимодействий пользователей для точного определения отдельных предпочтений. Для представления пользовательской истории взаимодействий используется большая языковая модель (LLM), которая генерирует естественный языковой синтаксис, описывающий поведение пользователя. Эти естественно-языковые представления кодируются в высокомерные векторы с помощью предварительно обученной модели BERT. Далее, алгоритм применяет механизм аттенции (attention) для динамического слияния короткосрочных и долгосрочных представлений в единое полное представление пользователя. Этот подход позволяет учитывать обе эти аспекта предпочтений, чтобы повысить точность рекомендаций. ## Результаты Мы провели эксперименты с использованием реальных данных из различных рекомендательных систем. Наши результаты показали, что LLM-TUP превосходит несколько базовых подходов в сравнительных тестах. Мы сравнили нашу модель с другими методами, которые не учитывали динамику предпочтений, и показали, что LLM-TUP не только улучшает точность рекомендаций, но и обеспечивает более глубокое понимание пользовательского поведения. Эти результаты подтверждают значимость таких подходов, которые используют естественную семантику, предоставляемую большими языковыми моделями, для повышения качества рекомендаций. ## Значимость Предложенный подход может быть применен в различных областях, включая коммерческие рекомендательные системы, социальные сети и другие системы, требующие точного понимания пользовательских предпочтений. Особым преимуществом является улучшенная точность рекомендаций, полученная благодаря точному моделированию динамики пользовательских предпочт

## Контекст Понимание пользовательского контекста является ключевым фактором для эффективных рекомендательных систем. Однако существующие подходы часто не успешно ловят временную динамику пользовательских предпочтений, включающую в себя краткосрочные интересы и долгосрочные вкусы. Это создает значительные ограничения для создания профилей пользователей, которые могут адаптироваться к изменяющимся интересам. Эта проблема особенно актуальна в сложных и быстро меняющихся средах, таких как цифровые платформы развлечений. Данное исследование фокусируется на исследовании возможностей бо LLM для построения временно-акцентных профилей пользователей, чтобы улучшить точность и адаптативность рекомендательных систем. ## Метод Проведенное исследование основывается на использовании бо LLM для генерации семантически богатых профилей пользователей, отражающих их темпоральные предпочтения. Методология включает в себя два основных этапа: 1) генерация пользовательских профилей с разделением на краткосрочные и долгосрочные компоненты, и 2) создание комбинированных пользовательских эмбеддингов, которые адаптивно комбинируют эти два аспекта. Для оценки эффективности подхода использованы данные из двух различных доменов: Movies&TV (богатая информация) и Video Games (ограниченная информация). Особое внимание уделено определению того, как различные аспекты контекста влияют на качество рекомендаций. ## Результаты Эксперименты показали, что бо LLM способны генерировать профили, отражающие временные динамики пользовательских предпочтений. В домене Movies&TV, где имеется богатая информация о пользовательских интерфейсах, рекомендации, основанные на LLM-профилях, показали значительное улучшение в точности. Однако в домене Video Games, где данных о пользователях меньше, улучшения были менее заметными. Это подтверждает, что эффективность LLM зависит от того, насколько обширна информация о пользователях в заданной области. Также были выявлены ситуации, в которых бо LLM способны улучшить рекомендации, даже в условиях недостатка данных. ## Значимость Полученные результаты открывают новые возможности для использования бо LLM в рекомендательных системах. Эти модели могут быть применены в различных областях, таких как электронная коммерция, социальные сети и развлечения, для повышения качества рекомендаций. Особый потенциал обнаружен в сценариях, где пользователи имеют богатые интерфейсы и постоянно изменяют свои предпочтения. Будущие исследования будут ориентированы на улучшение способности бо LLM делать более точные прогнозы в условиях полного отсутствия данных и на расширение

#### Контекст Оценка рекомендаций поддерживает ключевую роль в современных рекомендательных системах, позволяя измерить качество рекомендаций и улучшить пользовательский опыт. Тем не менее, в долгоформатовых доменах, таких как подкасты, существуют серьезные проблемы. Оффлайн методы, такие как проверка корреляции между рекомендациями и действиями пользователей, страдают от экспозиционного биаса, то есть неточностей в представлении данных. Альтернативным подходом — онлайн-тестированием, таким как A/B-тестирование — требуется большое количество ресурсов и является ограниченным в применении. Данная работа предлагает новый подход, использующий Аль LLM-ас-а-Jудж (LLM в роли судьи) для эффективного и интерпретируемого оценивания подкастов. #### Метод Предложенная методика использует два этапа. В первом этапе алгоритм строит профили пользователей на основе 90-дневной истории прослушивания. Эти профили содержат в себе два основных компонента: тематические интересы и поведенческие модели. Это позволяет представить пользователя как компактные, но осмысленные представления их предпочтений. Во втором этапе Аль LLM-ас-а-Jудж использует эти профили в качестве входных данных для оценки качества рекомендаций. Ламбда проводит подробные оценки для каждой пары пользователя-подкаста, основываясь на соответствии профиля и подкаста. Этот подход упрощает входные данные и улучшает их читаемость, позволяя лучше понять причины рекомендаций. #### Результаты В экспериментах использовались данные из 90-дневных прослушиваний пользователей. Оценивались качество рекомендаций и точность сравнения с реальными предпочтениями пользователей. Профиль-ауэс LLM-ас-а-Jудж был сравнен с двумя вариантами: одним использовался вход в виде голых данных, а другой — оценка без профилей. Аль LLM-ас-а-Jудж показал высокую точность в соответствии с реальными предпочтениями пользователей и при этом был удобнее в использовании, чем другие подходы. Это позволяет ему быть эффективным инструментом для тестирования и моделирования в рекомендательных системах. #### Значимость Предлагаемый подход может применяться в многих областях, где требуется эффективная и понятная оценка рекомендаций в долгоформатовых доменах. Он позволяет избежать неточностей, связанных с экспозиционным биасом, и упрощает оценку качества рекомендательных моделей. Данный подход может использоваться в итеративном тестировании и моделировании, предоставляя более четкое понимание качества рекомендательных систем. #### Выводы Профиль-ауэс LLM-ас-а-Jудж доказал свою эффективность в о

## Контекст Моделирование множественных интересов является основной задачей в современных системах рекомендаций (RS). Однако существующие подходы сталкиваются с тремя ключевыми проблемами. Во-первых, интересы, извлекаемые из предварительно определенных внешних источников, являются неизменными и не могут адаптироваться к динамическим изменениям предпочтений потребления пользователей. Во-вторых, текущие методы ориентированы на оптимизацию соответствия существующим интересам, но не обеспечивают достаточное проявление активности в открытии новых и долгожданных интересов. Это приводит к ограниченности в поиске и открытии нового контента. Для решения этих проблем, предлагается прогностический подход, ориентированный на динамическое моделирование интересов. ## Метод Предлагаемый подход, SPARC (Soft Probabilistic Adaptive Retrieval Model via Codebooks), основывается на новых методах квантования интересов и использования кодеков. Метод включает в себя следующие черты: 1. **Residual Quantized Variational Autoencoder (RQ-VAE)**: Этот механизм позволяет преобразовать нерегулярные интересы пользователей в дискретный пространственный формат. Он обучается в сочетании с промышленным модельным рекомендательным решением, чтобы извлекать динамические, поведенчески ориентированные интересы. 2. **Probabilistic Interest Module (PIM)**: Этот модуль использует вероятностную модель для оценки вероятностного распределения по всем дискретным интересам. Он позволяет осуществлять "мягкий поиск" во время онлайн-поиска, превращая процесс из пассивного соответствия в активное исследование. ## Результаты Эксперименты проводились на опен-сорсных данных Amazon Product, а также в рамках индустриального применения, взаимодействующего с десятками миллионов активных пользователей ежедневно. Онлайн-тесты показали: - Увеличение длительности просмотра пользователя на 0.9%. - За счет поиска нового контента, увеличение просмотров страниц (PV) на 0.4%. - Увеличение количества просмотров нового контента (PV500) на 22.7% за 24 часа. Несколько оффлайн-метрик Recall@K и NDCG@K также показали значительные улучшения. Эти результаты доказывают эффективность SPARC в моделировании динамических интересов и улучшении рекомендательных систем. ## Значимость Предложенный подход может применяться в различных целях, включая сферы коммерческих рекомендательных систем, социальных сетей и поисковых систем. Он обеспечивает более точную модель пользовательских предпочтений, что повышает качество рекомендаций и увеличивает пользовательский активность. SPARC также обеспечивает более прозрачное и проактивное исследование нового контента, улучшая возможност

#### Контекст Отношение "семантического поиска" к "информационному поиску" в целом можно сравнить со связью "экзотической кухни" к "повседневной кухне" — оно новое, сложное и еще не достигло широкого распространения. Dense retrieval, являющийся одним из основных компонентов semantic search, широко применяется в системах веб-поиска и корпоративных системах, но существуют проблемы с его эффективностью. Большинство существующих моделей для обучения dense retrieval полагаются на бинарные метки релевантности, где каждая пара "запрос-документ" либо релевантна, либо нет. Этот подход игнорирует тот факт, что релевантность часто субъективна и может быть представлена на промежуточном уровне. Более того, LLMs (large language models) стали позволять генерировать fine-grained релевантности, что может улучшить обучение моделей. Таким образом, целью данного исследования является разработка метода, который мог бы использовать эти промежуточные метки релевантности для повышения точности и стоимости обучения моделей. #### Метод Предлагаемый подход, названный BiXSE (Binary Cross-Entropy over LLM-Generated Graded Relevance), является простым и эффективным методом обучения, который использует binary cross-entropy (BCE) для оптимизации LLM-generated graded relevance scores. Эти scores подразумевают промежуточные значения релевантности, которые могут быть представлены в виде вероятностей. BiXSE игнорирует сложные подходы, такие как pairwise и listwise losses, которые требуют множества меток релевантности для каждого запроса. Вместо этого оно использует in-batch negatives, что позволяет эффективно обучать модель с меньшими затратами на аннотации и вычисления. Эта модель преобразует вероятности во финальные предсказания, используя техники, которые становятся возможными благодаря последним разработкам в области LLMs. #### Результаты Чтобы проверить эффективность BiXSE, проведены испытания на нескольких наборах данных, таких как MMTEB (для sentence embedding) и BEIR, TREC-DL (для retrieval). В этих экспериментах BiXSE показала себя лучше, чем модели, основанные на softmax-based contrastive learning (InfoNCE). Более того, BiXSE показала почти такие же результаты, как и модели с pairwise ranking, но с значительно меньшими затратами на обучение. Это означает, что BiXSE может предоставить мощный и эффективный метод для обучения dense retrieval с помощью LLM-supervised data, уменьшая необходимость в многочисленных метках релевантности и улучшая общую эффективность. #### Значимость Предложенный подход имеет широкие области применения, включая веб-поиск, корпоративные системы поиска и даже медицинские системы, где требуется точный semantic search. Одним из основных преимуществ BiXSE является своя экономичность, так как он требует меньшего количества аннотаций и ресурсов для обучения. Это может привести к созда

## Контекст Поиск и сортировка актуальной информации является важной задачей в различных областях, от поисковых систем до рекомендательных систем. Несмотря на успех глубоко обученных моделей, проблемы с недостаточной силой логического моделирования и ограниченным доступом к качественному обучающему данным существуют. Эти проблемы сказываются на качестве результатов поиска, особенно при работе с сложными запросами. Обеспечение сильной логической модели и создание методологии, позволяющей улучшить качество рейтинга, являются целями этого исследования. ## Метод Разработана модель ReasonRank, которая использует широкомасштабное моделирование слов с помощью Large Language Models (LLM) для выполнения рейтинга. Для повышения модели силами логического моделирования, разработана методика автоматического синтеза тренировочных данных на основе DeepSeek-R. Данные подвергаются фильтрации с помощью системы самоконсистентности, чтобы обеспечить их качество. Далее, применена последовательная постобучениевая методика. В первой стадии используется супервизированное тренирование для выделения шаблонов успешного логического моделирования. Во второй стадии применяется развитие модели через глубокое обучение с подкреплением (RL), где используется многообзорная оценка результатов для повышения рейтинга. ## Результаты Реализованная модель протестирована на нескольких наборах данных, в том числе BRIGHT. Эксперименты показали, что ReasonRank превосходит существующие модели по метрикам качества рейтинга. На BRIGHT leaderboard ReasonRank достиг рекордного результата 40.6, показав значительное превосходство по сравнению с другими решениями. Благодаря использованию многообзорной оценки, модель достигла лучшего баланса между точностью и скоростью работы. ## Значимость Предложенная модель ReasonRank устанавливает новый стандарт в области развития логического моделирования в пассаж-рейтинге. Она применима не только в поисковых системах, но и в рекомендательных системах, во временной динамике. Модель отличается низкой задержкой, что делает её привлекательной для реального времени. Будущие исследования будут фокусированы на расширении модели для более сложных сценариев и улучшении её универсальности для различных приложений.

#### Контекст Современные рекомендательные системы сталкиваются с ограничениями при определении пользовательских предпочтений и предложении подходящих рекомендаций. Одной из важных задач является интеграция дополнительного знания, чтобы улучшить точность рекомендаций. В этом контексте, большие языковые модели (LLMs) становятся полезными источниками знаний. Однако, применение данных от LLMs непосредственно в рекомендательных моделях часто приводит к проблемам, таким как генерация неточных сведений (hallucination), дублирование контента или повторение информации (content redundancy), а также снижению разнообразия рекомендаций (information homogenization). Необходимо разработать методы, которые позволят выборочно использовать высококачественные знания из LLMs, чтобы повысить эффективность рекомендательных систем. #### Метод Предлагается **Knowledge Selection & Exploitation Recommendation (KSER)** фреймворк, который состоит из двух основных модулей. **Модуль фильтрации знаний (Knowledge Filtering Module)** использует Embedding Selection Filter Network (ESFNet) для присвоения адаптивных весов различным кусочкам знаний в различных областях знаний. **Модуль выравнивания пространств эмбеддингов (Embedding Spaces Alignment Module)** применяет архитектуру на основе внимания (attention-based) для выравнивания семантических эмбеддингов, полученных от LLMs, с пространством признаков, используемым в рекомендательных моделях. Это методология позволяет повысить качество рекомендаций, обеспечивая выборку и эффективное использование высококачественных знаний. #### Результаты В экспериментах были изучены различные данные, включая рекомендательные задачи с разными наборами данных. Метод KSER показал существенные повышения показателей качества рекомендаций по сравнению с базовой моделью. Наборы данных, использованные в экспериментах, были включены в различные сценарии применения. Результаты подтвердили то, что модули фильтрации и выравнивания знаний не только улучшают точность, но и обеспечивают разнообразие рекомендаций. #### Значимость Предлагаемый подход имеет широкие практические применения в рекомендательных системах, поисковых системах, и других областях, где необходимо оперировать высококачественным знанием. Он позволяет улучшить качество рекомендаций, обеспечив точность и разнообразие, а также обеспечивает увеличение его полезности в различных случаях. Кроме того, данный подход может стать основой для будущих исследований в области знаний в рекомендательных системах. #### Выводы Результаты экспериментов подтвердили эффективность KSER-фреймворка в выборе и использовании высококачественных знаний из LLMs. Он демонстрирует значительное повышение эффективности рекомендательных моделей и может быть применен в различных сферах. Будущие исследования будут сосредоточены на улучшении

## Контекст Колдость (cold start) — одна из самых острых проблем в индустриальных системах рекомендаций. Новые элементы, такие как видео, продукты или услуги, часто не имеют существующей истории взаимодействий, что затрудняет их показ пользователям в личностной форме. Обычные модели, основанные на совместном фильтрировании (collaborative filtering), сталкиваются с проблемой недостатка данных о пользовательских взаимодействиях. Заточенные на содержимое (content-based) модели, в свою очередь, не учитывают специфику пользователя. Мы предлагаем SocRipple, двухэтапную систему, специализированную на распространении новых элементов на социально-графовых платформах. Эта система адресует основные вызовы колдости за счет учитывания социальных связей создателей и использования ранних сигналов взаимодействий для распространения рекомендаций. ## Метод SocRipple состоит из двух этапов. В первом этапе, мы используем социальные связи создателя, чтобы дать начальную экспозицию новым видео. Это достигается путем целенаправленного распространения видео среди пользователей, которые исторически взаимодействовали с контентом этого создателя. Во втором этапе, мы используем ранние сигналы взаимодействий (например, просмотры и рейтинги) для обучения стабильных пользовательских представлений. Затем эти представления используются в KNN-поиске для распространения видео среди пользователей с аналогичными предпочтениями. Это двухэтапный подход позволяет эффективно обрабатывать проблему колдости, сочетая целевую экспозицию и персонализацию. ## Результаты Мы провели значительные эксперименты на большом видеопортале, используя реальные данные пользователей и видео. Результаты показывают, что SocRipple увеличивает распространение новых видео на +36% по сравнению с существующими методами, при этом сохраняя высокий уровень участия пользователей в этих видео. Модель также позволяет повысить эффективность распространения новых видео без существенного снижения качества рекомендаций для пользователей. Эти результаты подтверждают способность SocRipple эффективно решать проблему колдости без ущерба для качества пользовательского опыта. ## Значимость SocRipple может применяться в различных областях, где возникают проблемы колдости, таких как видеорекомендации, магазины продуктов и услуг. Особый потенциал этой модели виден на социально-графовых платформах, где создатели контента могут быстро набрать популярность, и у пользователей есть желание получать актуальный и персонализированный контент. Основное преимущество SocRipple заключается в способности ему быстро и эффективно распространять