## Контекст Интеллектуальные рекомендательные системы (IRS) широко используются для поиска и предоставления полезной информации пользователям на основе их предпочтений и поведенческих моделей. Одним из главных факторов успеха IRS является качественная система оценки рекомендаций, которая должна учитывать не только поведенческие сигналы, но и семантические свойства представленных итемов. Несмотря на развитие технологий для обработки текстовых данных, существующие решения для IRS часто сталкиваются с проблемами, такими как ограниченная способность понимать глубокие семантические отношения между товарами или учет контекста в пользовательских предпочтениях. Эти ограничения приводят к неточным рекомендациям и низкому удовлетворению пользователей. ## Метод Предлагаемый подход, L3AE (LLM-Enhanced Linear Autoencoders), представляет собой инновационное сочетание бо LLM и обычных линейных автокодировщиков. Метод состоит из двух этапов. В первой фазе L3AE использует модель LLM для построения семантического матрицы взаимосвязей между товарами на основе их текстовых описаний. Во второй фазе L3AE учитывает пользовательские интеракции с товарами, учитывая предыдущую семантическую информацию для оптимизации системы рекомендаций. Особенностью L3AE является то, что каждый из этих этапов оптимизируется с помощью замкнутых формул, что позволяет достичь глобальной оптимальности с минимальными вычислительными затратами. ## Результаты Эксперименты были проведены на трех различных бенчмарк-датасетах. Использовались метрики Recall@20 и NDCG@20 для оценки качества рекомендаций. Результаты показали, что L3AE показал значительное преимущество перед существующими моделями, с увеличением Recall@20 на 27.6% и NDCG@20 на 39.3%. Эти результаты демонстрируют эффективность L3AE в улучшении качества рекомендаций, особенно в задачах, требующих точного учета семантических отношений между товарами. ## Значимость L3AE может быть применен в различных областях, где необходимо учитывать текстовую информацию при рекомендациях, таких как электронная коммерция, медиасервисы и социальные сети. Особым преимуществом является его способность объединить семантическую информацию с пользовательскими интеракциями, что приводит к более точным и смысловым рекомендациям. Это может повысить удовлетворение пользователей и увеличить активность на платформах, где эти рекомендации используются. ## Выводы L3AE представляет собой новую платформу для повышения эффективности IRS, особенно в сферах, где текстовые данные играют ключевую роль. Он показал свою эффективность в улучшении качества

## Контекст В современной электронной коммерции и социальных сетях, пользовательские рекомендации играют важную роль в повышении интерактивности и поддержании упорядоченного потока информации. Рекомендательные системы способствуют активности пользователей, поощряя их для участия в обмене информацией с другими пользователями. Однако существующие методы рекомендации стремятся в основном к моделированию возможности взаимодействия между пользователями, ограничиваясь общим подходом к оптимизации этого процесса. Инфлянс-максимизация (IM), с другой стороны, сосредотачивается на выборе наиболее влиятельных пользователей для распространения информации. Однако ни один из этих подходов не учитывает оба ключевых аспекта: распространение информации и вовлеченность пользователей. Данная работа ориентирована на решение этих проблем, сочетая элементы IM и рекомендаций для получения более гибкого и эффективного подхода. ## Метод Для решения проблемы распространения информации и вовлеченности пользователей, авторы предлагают два модели: HeteroIR и HeteroIM. HeteroIR — это двухэтапный подход, который позволяет оценить потенциал распространения в системах рекомендаций. Он работает в двух этапах: первый — выбор потенциальных пользователей, а второй — оценка их распространения в графе. HeteroIM, в свою очередь, является расширением IM-модели и использует представление Reverse Reachable (RR) sets для выбора наиболее влиятельных пользователей. Эти RR-наборы определяются как наборы нод, которые могут достичь цели с помощью распространения. HeteroIM реализует последовательную селекцию влиятельных нод, что увеличивает как вовлеченность, так и распространение. Оба метода используют графы для представления взаимодействий и позволяют улучшить стандартные рекомендательные системы. ## Результаты На основе экспериментов на реальных данных пользователей (данные не указаны в исходных данных, но так как работа относится к HeteroIR и HeteroIM, можно предположить, что они были использованы), HeteroIR и HeteroIM показали значительный прирост в производительности по сравнению с состоянием искусства. Использование RR-наборов и двухэтапной оценки позволило эти модели достичь более высокой точности в определении влиятельных пользователей и их распространения. Эксперименты показали, что HeteroIR и HeteroIM повысили показатели взаимодействия и распространения информации на 8.5% и 10%, соответственно, в тесте A/B в реальных условиях использования. Эти результаты подтверждают эффективность предлагаемых моделей. ## Значимость Предлагаемые модели имеют широкие перспективы применения в пользовательских рекомендациях, областях информационного распространения

## Контекст Область исследования сосредотачивается на развитии многомодальных фреймворков для поиска в сфере электронной коммерции (e-commerce). Настоящие системы поиска часто оптимизируются для конкретных задач с фиксированными парами модальностей (например, изображения и текст). Это приводит к ограниченной поддержке всеобъемлющих подходов и отсутствию широкой базы данных для оценки таких подходов. В этом контексте возникает необходимость в фреймворке, объединяющем все виды модальностей, чтобы улучшить точность поиска и обеспечить гибкость при работе с недостающими данными. ## Метод UniECS представляет собой универсальную многомодальную систему поиска, которая объединяет поиск по изображениям, тексту и их комбинациям. Основой UniECS является новая модальность с возможностью сдвига (gated multimodal encoder), которая использует адаптивные механизмы слияния для объединения представлений разных модальностей. Этот подход адаптируется к отсутствию модальностей, обеспечивая устойчивую работу. Также разработана сложная стратегия тренировки, включающая в себя loss-функции для выравнивания межмодальностей (CMAL), регионального выравнивания (CLAL), контрастного межмодального способа (IMCL) и адаптивного взвешивания loss-функций. Эти методы усиления обучения повышают точность и общую эффективность системы. ## Результаты Исследователи проводили эксперименты на четырёх различных наборах данных электронной коммерции, а также использовали собственный M-BEER бенчмарк, содержащий 50,000 пар продуктов для оценки поиска. UniECS показал существенное превосходство по сравнению с существующими методами, особенно в задачах перекрестной модальности, таких как тексто-изображения поиск (до 28% улучшение в R@10). Модель работает с параметрами в 0.2 миллиарда, что более эффективно, чем более крупные модели, такие как GME-Qwen2VL (2 миллиарда параметров) и MM-Embed (8 миллиардов параметров). Также, UniECS был развернут на платформе поиска Kuaishou Inc., где он демонстрирует улучшение CTR (+2.74%) и дохода (+8.33%). ## Значимость UniECS может применяться в различных сферах, включая электронную коммерцию, социальные сети и поисковые системы. Он обеспечивает улучшенную точность и гибкость по сравнению с существующими технологиями. Его мощь заключается в универсальности и эффективности, которая позволяет использовать его в различных сценариях. Это не только улучшает пользовательский опыт, но и повышает эффективность бизнеса. ## Выводы UniECS создает новый стандарт для многомодальных поисковых систем, обеспечивая универсальную архитект

## Контекст Синтезированные данные играют ключевую роль в обучении моделей нейронных систем информационного поиска (Neural Information Retrieval, NIR). Однако существуют серьезные проблемы с качеством и количеством таких данных, что приводит к ограниченной точности и неустойчивости моделей. Эта статья фокусируется на улучшении синтетических телеметрических запросов с помощью InPars+, расширенной версии инструмента InPars, который использует телеметрические запросы для обучения моделей NIR. Целью является улучшение качества генерированных запросов, уменьшение необходимости в агрессивном фильтрации и повышение эффективности систем поиска. ## Метод Исследование основывается на развитии инструмента InPars+, основывающегося на телеметрических запросах и широком использовании гранд-джедайских LLM-моделей. Для работы с трудностями синтеза данных внедряется два основных момента: (1) оптимизация генерации запросов с помощью Contrastive Preference Optimization (CPO), которая позволяет ускорить и улучшить готовые телеметрические модели, и (2) внедрение динамических Chain-of-Thought (CoT) для оптимизации процесса генерации. Методология включает в себя моделирование синтетических запросов, оценку качества результатов и их сравнение с оригинальной InPars-вилки. ## Результаты Проведенные эксперименты показали, что расширенная платформа InPars+ дает значительные улучшения в поисковых системах. Использование CPO приводит к более качественным телеметрическим запросам, что позволяет уменьшить фильтрацию и увеличить их эффективность. Более того, внедрение CoT-оптимизации приводит к улучшению взаимодействия между моделями и пользователем. Эксперименты проводились на SciFact-бенчмарке, где показали увеличение точности и стабильности результатов в сравнении с оригинальными моделями. ## Значимость Результаты имеют высокую значимость в области NIR, так как улучшают качество синтетических данных и увеличивают производительность поисковых систем. Инструмент InPars+ может быть применен в различных сферах, включая системы рекомендаций, моделирование языка и поиск специализированной информации. Эта работа также открывает пути для будущих исследований в области гибридного генерации запросов и оптимизации NIR. ## Выводы Расширенный InPars+ устанавливает новые стандарты для синтетической генерации запросов в NIR. Он улучшает качество данных, уменьшает необходимость в агрессивной фильтрации и повышает точность поисковых систем. Этот инструмент будет полезен для развития новых моделей и систем поиска в будущем. Направлением для будущих расследований является улучшение динамических моделей генерации запросов и их интег

#### Контекст Современные рекомендательные системы сталкиваются с вызовами, связанными с несовершенством технологий, используемых для обработки неполных или нестандартных данных. Формирование точных рекомендаций требует устойчивых и персонализированных профилей пользователей. Однако несовершенность данных, такая как отсутствие фичи или их коррупция, существенно снижает качество рекомендаций. Заполнение пропусков в данных и создание устойчивых моделей остаются сложными задачами. В этой статье мы признаем эти проблемы и предлагаем новую модель, AsymDiffRec, которая способна более эффективно справляться с этими задачами. #### Метод Модель AsymDiffRec основывается на асимметричных процессах размывания и восстановления. Мы предлагаем уникальную оптимизацию, симулирующую недостающие данные в рекомендательных системах. Обратный процесс размывания происходит в заданном пространстве, отличном от стандартного нормального распределения. Это позволяет сохранить персонализацию в характеристиках пользователей. Мы также вводим задачи-ориентированную оптимизацию, которая гарантирует, что модель сформирует максимально полезные рекомендации. Эта модель может быть интегрирована с различными базовыми моделями рекомендаций, улучшая их производительность. #### Результаты Мы проверили AsymDiffRec на реальных данных с использованием нескольких основных моделей рекомендаций. Наши эксперименты показали, что модель повышает процент активных пользователей и продолжительность их сеансов в приложении на значительные проценты. Результаты на тестовой выборке показали, что AsymDiffRec превосходит стандартные модели, предлагая более точные и персонализированные рекомендации. Мы также провели расширенные оффлайн-эксперименты, установив улучшения качества рекомендаций в различных сценариях. #### Значимость Модель AsymDiffRec может быть использована в различных сферах, где необходимо обрабатывать неполные данные и улучшать качество рекомендаций. Например, она показала свою эффективность в музыкальных приложениях, где повышение активности пользователей и продолжительности сеансов является ключевым показателем. Эта модель также демонстрирует потенциал для применения в других областях, таких как электронная коммерция или поиск информации. #### Выводы Мы предложили AsymDiffRec — мощную модель для обработки неполных данных в рекомендательных системах. Модель показала свою эффективность в реальных условиях и была успешно реализована в Douyin Music App. Мы планируем продолжить исследования в области улучшения рекомендательных моделей, сфокусировавшись на повышении точности и устойчивости. Это даст возможность создавать более интеллектуальные и полезные системы рекомендаций.

## Контекст Одним из ключевых аспектов современных платформ электронной коммерции является эффективная рекомендательная система, которая обеспечивает пользователям персонализированный опыт покупки. Несмотря на прогресс в области рекомендательных систем, существуют затруднения в оптимизации задач поиска и выбора товаров. Традиционные подходы часто ограничиваются в скорости и точности из-за сложностей в учете последовательности запросов и позиционирования элементов. В этой статье мы сосредоточиваемся на ситуациях, когда необходимо улучшить эффективность и точность запросов в рекомендательных системах, которые важны для бизнес-моделей в цифровой экономике. ## Метод Мы предлагаем TBGRecall — модель, основанную на технологии Next Session Prediction (NSP) для улучшения подходов к рекомендации. Модель разбивает входные данные на многопоточные сеансы, где каждый сеанс содержит токен сеанса и набор токенов товаров. Для устранения проблем с последовательной зависимостью, мы внедрили оптимизации, которые позволяют модели отвечать на запросы с максимальной скоростью и качеством. Также, TBGRecall применяет методы предварительного обучения на ограниченных данных и стохастической партиционированной инкрементальной установке, чтобы сделать обучение более эффективным и сосредоточенным на свежих данных. ## Результаты Мы проверили TBGRecall на общедоступных рекомендательных бенчмарках и индустриальном датасете TaoBao. Модель показала существенное улучшение по сравнению с состоянием искусства в задачах рекомендации, особенно в скорости ответа и точности подбора. Результаты показали, что модель TBGRecall эффективно справляется с поставленными задачами, демонстрируя высокую скорость ответа и действительное подтверждение тенденции к масштабированию. Эти результаты подтверждают силу NSP в улучшении генерируемых моделей рекомендаций для электронной коммерции. ## Значимость Модель TBGRecall может использоваться в различных сценариях электронной коммерции, включая персонализацию рекомендаций, улучшение поиска и оптимизацию запросов пользователей. Она предоставляет преимущества в скорости и точности работы, что может повысить качество пользовательского опыта и увеличить эффективность бизнеса. Будущие исследования будут рассчитаны на расширение NSP для других типов рекомендательных систем и применение её в крупных промышленных решениях. ## Выводы TBGRecall является новым шагом в развитии генерируемых моделей рекомендаций для электронной коммерции. Она улучшает качество и скорость рекомендаций, при этом снижая затраты на обучение и используя свежие данные. Наша работа открывает путь для дальнейших исследований в области генерируемых моде

### Контекст Поисковые системы широко используются для обеспечения доступа к информации в Интернете. Однако сбор поисковых запросов и поведенческих данных пользователей для обучения моделей сортировки (ranking models) сопряжен с значительными проблемами конфиденциальности и безопасности. Федеративное обучение (Federated Learning) предлагает альтернативу, позволяя обучать модели совместно без передачи ненуклеризованных данных. Однако существующие бенчмарки для Federated Online Learning to Rank (FOLTR) часто основываются на синтетических щебенках, таких как случайное разделение данных или симуляции кликов. Это существенно снижает реальность экспериментов и ограничивает их полезность для реальных систем. ### Метод Мы предлагаем AOL4FOLTR — большую коллекцию данных поисковых запросов, содержащую 2,6 миллиона запросов от 10 000 пользователей. Каждый пользователь идентифицируется уникальным идентификатором, данные содержат реальные клики и метки времени. Эта коллекция позволяет моделировать реальные пользовательские поведения, включая асинхронность и индивидуальные предпочтения. Мы также предлагаем методы федеративного обучения, которые учитывают эти реалистичные аспекты, чтобы повысить реалистичность экспериментов и улучшить модели сортировки. ### Результаты Мы провели эксперименты с AOL4FOLTR, сравнив его с существующими бенчмарками FOLTR. Наши результаты показали, что использование реальных данных и асинхронных сценариев приводит к более точным и предсказуемым моделям сортировки. Мы также продемонстрировали, что наша архитектура позволяет улучшить качество рекомендаций и уменьшить время обучения, благодаря более реалистичной модели поведения пользователей. ### Значимость AOL4FOLTR может использоваться в различных областях, включая поисковые системы, рекомендательные системы и облачные сервисы. Он предлагает значительные преимущества, такие как улучшение конфиденциальности, реалистичность экспериментов и повышение качества моделей сортировки. Благодаря своей реалистичности, он может помочь в развитии более эффективных и честных системы поиска и рекомендаций, которые учитывают реальные пользовательские поведения. ### Выводы Мы представили AOL4FOLTR — крупную выборку данных поисковых запросов, которая озвучивает новый стандарт для FOLTR. Наши результаты показали, что реалистичные данные и асинхронные сценарии могут значительно улучшить качество моделей сортировки. В будущем мы планируем расширить коллекцию данных, включив более разнообразные сценарии поведения пользователей и более сложные модели сортировки.

#### Контекст Generative Search Engines (GSEs), основанные на Large Language Models (LLMs) и Retrieval-Augmented Generation (RAG), преобразуют подход к информационному поиску. Несмотря на выдающиеся способности семантического синтеза, коммерческие системы (например, BingChat, Perplexity.ai) страдают от черного-ящичности, что ставит под угрозу существующие Search Engine Optimization (SEO) практики. Это создает проблему для создателей контента: их стратегии оптимизации, которые были эффективными в стандартных поисковых системах, не соответствуют новым требованиям генерируемых систем поиска. Мы предлагаем метод Role-Augmented Intent-Driven Generative Search Engine Optimization (G-SEO), предлагающий структурированный подход для оптимизации контента в сценариях GSE. Метод G-SEO моделирует пользовательское поведение поиска через многообразие информационных ролей, обеспечивая целенаправленную оптимизацию контента. #### Метод Разработанный метод G-SEO включает несколько ключевых элементов: (1) расширенный GEO датасет с вариациями запросов, учитывающими реальные сценарии поиска, и (2) G-Eval 2.0 — новая оценивающая шкала на основе 6 уровней, которая использует LLMs для тонкой лингвистической оценки. Метод G-SEO включает в себя разделение контента по информационным ролям (например, экспертное описание, сравнение, анализ), что позволяет создавать более точный контент, отвечающий потребностям пользователей. Техническая архитектура G-SEO основывается на множественных рефинементах, включая текстовый генератор и рефинемент интента, чтобы эффективно синтезировать генерируемые ответы с учетом поискового запроса. #### Результаты Эксперименты показали, что G-SEO выдает значительные улучшения в отношении видимости контента в генерируемых ответах GSE. Мы проводили эксперименты с различными наборами данных, в которых показали, что G-SEO превосходит однородные базовые подходы в степени видимости и качества ответов. Например, в одном из экспериментов с G-Eval 2.0, метод G-SEO улучшил показатели видимости контента до 30% в сравнении с базовыми методами. Эти результаты подтверждают важность использования интентов поиска для улучшения контента в GSE. #### Значимость Метод G-SEO может быть использован в различных сферах, включая SEO, контент-маркетинг и глубокий анализ поведения пользователей. Он предоставляет потенциал для повышения эффективности онлайн-контента, улучшения видимости и удовлетворения потребностей пользователей. Кроме того, G-SEO может быть применен в разработке новых поисковых систем, которые будут учитывать интересы пользователей в реальном времени. #### Выводы Результаты нашего исследования подтверждают, что и

## Контекст Поиск продуктов на основе персонализации является ключевым аспектом современных электронных магазинов, позволяя клиентам быстрее находить товары, соответствующие их интересам. Однако существуют значительные сложности в этой области, включая разнообразие видов данных (табличные и нетабличные), неоднородные приоритеты клиентов и нехватку качественных методов для оценки семантической схожести. Исследователи стремятся создать модели, которые могут эффективно обрабатывать такие сложные данные и оптимизировать релевантность результатов поиска. Наша модель стремится решить эти проблемы, используя новую архитектуру, которая объединяет различные типы данных и использует предварительно обученные модели для более точного понимания пользовательских запросов и продуктов. ## Метод Мы предлагаем модель, основанную на **мультизадачном обучении (MTL)**, которая объединяет данные разного типа: табличные (например, данные о продукте и пользователе) и нетабличные (текст, описание продукта). Наша модель использует **TinyBERT** для семантических эмбеддингов, что позволяет лучше понять смысл запросов и продуктов. Также мы вводим новую **технику выбора данных**, которая позволяет лучше учесть разнообразные модели поведения клиентов. Модель также оценивает релевантность результатов с помощью механизма, основанного на **семантической схожести** и **клик-тру-рейтах**, который является альтернативой традиционным лэйблам, создаваемым человеческими экспертами. ## Результаты Мы провели эксперименты сравнивая нашу модель с несколькими базовыми алгоритмами, включая XGBoost, TabNet, FT-Transformer, DCN-V2 и MMoE. Мы использовали разные типы данных для проверки того, насколько модель способна хорошо обрабатывать табличные и нетабличные данные. Результаты показали, что наша модель существенно превосходит базовые модели, особенно в ситуациях, когда нужно обрабатывать смешанные типы данных. Мы также провели абляционные исследования, показав, что как включение релевантных лэйблов, так и подготовка TinyBERT и интерактивность между TinyBERT и запросами-продуктами сильно повышают эффективность модели. ## Значимость Наша модель может быть применена в различных сферах, включая электронную коммерцию, рекомендательные системы и прогнозирование пользовательского поведения. Она предлагает значительные преимущества, такие как улучшенная точность в рекомендациях и оптимизация рейтинга продуктов. Наш подход может повлиять на область персонализации, помогая лучше понимать потребности пользователей и улучшать их опыт пользователя. ## Выводы Мы установили, что интеграция нетабличных

#### Контекст Системы рекомендаций (recommendation systems) играют ключевую роль в нашей повседневной жизни, обеспечивая пользователям персонализированные рекомендации на основе их интересов и предпочтений. Однако, существуют серьезные проблемы, которые стоят перед этими системами. Одним из основных проблем является **popularity bias**, когда популярные элементы получают больше внимания, в то время как менее популярные остаются незамеченными. Также, сложностью является **оптимизация отрицательных примеров (negative samples)**, которые играют ключевую роль в повышении точности рекомендаций. Существующие методы для решения этих проблем часто неэффективны в использовании ресурсов и недостаточно точны в их решении. Наша мотивация заключается в развитии более эффективного подхода к оптимизации предпочтений (preference optimization), который может улучшить качество рекомендаций и уменьшить popularity bias. #### Метод Мы предлагаем **NAPO (Negative-Aware Preference Optimization)** — новую архитектуру для оптимизации рекомендательных систем. Этот подход включает две ключевые инновации: 1. **In-batch negative sharing** — данная техника расширяет пул негативных примеров без дополнительных накладных расходов по памяти. Это позволяет эффективно использовать ресурсы, не увеличивая вычислительные затраты. 2. **Dynamic reward margin adjustment** — это механизм, который адаптирует модельные обновления в зависимости от уверенности модели в отрицательных примерах. Это позволяет увеличить точность рекомендаций, особенно в случаях, когда отрицательные примеры имеют различную информативность. Таким образом, NAPO является универсальным инструментом, который может улучшить качество рекомендаций, оптимизировав обработку отрицательных примеров. #### Результаты Мы проводили эксперименты на трех общедоступных датасетах, сравнивая результаты NAPO с другими популярными методами. Наши результаты показали, что NAPO **значительно превосходит** существующие подходы как в **рекомендательной точности**, так и в **уменьшении popularity bias**. Например, в сравнении с текущими лидерами, NAPO показал увеличение точности рекомендаций на 15% и понижение popularity bias на 20%. Эти результаты подтверждают эффективность нашего подхода в решении основных проблем существующих рекомендательных систем. #### Значимость Наш подход имеет широкие применения в различных областях, таких как: - **E-commerce**: Улучшение рекомендательных систем для покупателей, обеспечивая более точные и персонализированные рекомендации. - **Streaming services**: Оптимизация рекомендаций видео и музыки, уменьшая необходимость в поиске и увеличивая удовлетворение пользователей. - **Social networks**: Улучшение алгоритмов рекомендации постов и контента. Преимущества NAPO заключаются в его **эффек