## Контекст Проблема cold-start в релевантном соответствии — одна из наиболее трудных задач в розничной торговле, особенно в новых или экзотических рынках. Это происходит из-за отсутствия достаточного объема данных о пользовательских поведениях и оценочных метках. Из-за этого поисковые системы имеют трудности в том, чтобы предоставить пользователям наиболее актуальные и релевантные товары. Это влияет на пользовательский опыт и, в итоге, на финансовую эффективность. Наша цель — создать эффективное решение для устранения этой проблемы в отрасли электронной коммерции. ## Метод Мы предлагаем **CSRM-LLM**, который использует многоязычные Large Language Model (LLM) для решения проблемы cold-start в ситуациях, когда имеется ограниченная информация о пользователях и их поведении. Наш подход включает три основных компонента: 1. **Cross-lingual transfer learning** — мы обучаем модель на основе перевода запросов и описаний товаров с помощью машинного перевода, что позволяет модели работать с несколькими языками. 2. **Query augmentation through retrieval** — мы обогащаем запросы, используя релевантные товары из базы данных, чтобы улучшить понимание пользовательских запросов и увеличить релевантность рекомендаций. 3. **Multi-round self-distillation training** — это стратегия обучения, которая уменьшает влияние ошибочных меток обучения и улучшает точность модели. ## Результаты Мы проводили эксперименты на реальных данных, полученных в рамках работы нашей компании Coupang. Мы сравнивали CSRM-LLM с имеющимися решениями на базе LLM и показали, что наш подход позволяет снизить **defect ratio** (ошибочных рекомендаций) на **45.8%** и увеличить **session purchase rate** (сессионную скорость покупок) на **0.866%**. Это свидетельствует о том, что наше решение эффективно решает проблемы cold-start в сложных многоязычных средах электронной коммерции. ## Значимость CSRM-LLM имеет большое потенциал в многоязычных и международных средах электронной коммерции. Он может быть применен для улучшения cold-start релевантности в различных сценариях, таких как локализация товарных предложений, улучшение поиска и маркетинга. Это решение имеет также значительный потенциал для дальнейшего расширения в область машинного обучения и искусственного интеллекта. ## Выводы Мы успешно разработали CSRM-LLM, эффективное решение для устранения проблемы cold-start в релевантном соответствии в многоязычных средах электронной коммерции. Этот подход доказал свою эффективность в реальных условиях и существенно улучшил показатели качества. В будущем мы планируем расширить данный подход, включив дополнительные модели и методы, чтобы улучшить его работу в условиях отсутствия данных.

## Контекст Современные системы рекомендаций, основанные на коллаборативном фильтрировании, стали неотъемлемой частью цифровых платформ, помогая пользователям обнаруживать товары и сервисы. Однако эти системы часто сталкиваются с проблемами, такими как недостаточная точность в детальных пользовательских-предметных интеракциях и трудность в объяснении рекомендуемых вариантов. Увеличивающийся спрос на прозрачность и понятность рекомендаций стал мотивацией для развития методов генерации текстовых объяснений. Несмотря на то, что трансформеры показали выдающиеся результаты в области NLP, их применение в сфере рекомендательных систем остается недостаточно эффективным, особенно в случае необходимости адаптировать модели к конкретным аспектам. Мы предлагаем ELIXIR — модель для генерирования текстовых объяснений, которая комбинирует предсказание оценок с генерацией текстов, учитывая личные предпочтения. ## Метод ELIXIR является новой многозадачной моделью, объединяющей в себе предсказание оценок и генерацию текстовых объяснений. Модель основана на T5-small (60M параметров), что делает ее эффективной и недорогой в использовании. Основной инновацией ELIXIR является ее возможность учитывать аспектную структуру пользовательских предпочтений. Модель выделяет глобальные и аспект-специфические представления для пользователей и предметов, эффективно используя предварительно обученные трансформеры. Чтобы обеспечить личностную специфику, ELIXIR применяет аттенцион-механизмы, которые адаптируются к индивидуальным характеристикам пользователя. Таким образом, модель способна генерировать тексты, которые не только характеризуют детали явлений, но и учитывают личный контекст пользователя. ## Результаты Эксперименты проводились на двух больших датасетах: TripAdvisor и RateBeer. Мы сравнили ELIXIR с несколькими современными моделями, в том числе моделями, основанными на RNN и Transformer. Результаты показали, что ELIXIR превосходит другие модели в генерации текстовых объяснений. Особенно выдающиеся результаты получены в генерации текстов, отражающих конкретные аспекты. На TripAdvisor, ELIXIR показала более высокую точность в предсказании оценок и личностной настройки, что подтверждает свою эффективность в области рекомендательных систем. ## Значимость ELIXIR может применяться в различных областях, включая маркетинг, социальные сети и личные ассистенты. Главное преимущество ELIXIR заключается в ее способности сгенерировать точные и лично настроенные объяснения, что улучшает пользовательский опыт. Это увеличивает доверие

## Контекст В последние годы векторные представления (embeddings) приобрели важное место в системах рекомендаций, восстановления информации и прочих задачах. Эти представления позволяют системам оценивать и производить поиск связей между данными. Однако в последнее время возникла тенденция к применению этих систем для решения более сложных задач, таких как рассуждения, выполнение инструкций, программирование и др. Несмотря на выдающиеся результаты, остались незатронутые вопросы, связанные с теоретическими ограничениями векторных представлений. Эти ограничения, как предполагается, могут быть связаны с недостатком данных или малым размером моделей. В данной работе мы показываем, что эти теоретические ограничения могут возникать даже при использовании простых запросов и уже существующих моделей. ## Метод Мы применяем метод линейной алгебры и методы математической логики для анализа ограничений векторных представлений. Для этого мы рассматриваем задачу оценки выборок документов в зависимости от данного запроса. Также вводится новый метод, основывающийся на free parameterized embeddings, для оптимизации задач поиска. Для тестирования было создано реалистичное тестовое задание LIMIT, которое демонстрирует ситуации, в которых векторные представления не справляются с задачей, несмотря на простоту задачи. ## Результаты Наши эксперименты показали, что даже на простых задачах с запросами, состоящими из одного документа, векторные модели не могут удовлетворить все возможные релевантные критерии. Мы показали, что это происходит из-за теоретических ограничений, связанных с размерностью пространства векторов. Также мы установили, что даже использование сложных моделей и больших объемов данных не позволяет полностью решить эту проблему. Было создано новое тестовое задание LIMIT, в котором проверялось работоспособность моделей на различных входных данных. Эксперименты показали, что даже современные модели страдают от этого ограничения, несмотря на простоту задачи. ## Значимость Наша работа открывает новый взгляд на ограничения векторных представлений в реальных системах. Мы показали, что эти ограничения могут возникать не только в редких или нежизненных ситуациях, но и в рабочих условиях, даже при использовании простых запросов. Это может иметь большое значение для работы семантических и поисковых систем, где необходимо точно выбирать материалы. Наше исследование может привести к развитию новых методов, которые будут способны решать эти теоретические проблемы. ## Выводы Мы продемонстрировали, что векторные представления страдают от теоретических ограничений, которые могут возникать даже в прост

################################# ## Контекст ################################# В последние годы наблюдается значительный рост содержимого, сгенерированного бо LLM (Large Language Models, большие языковые модели). Этот рост повлиял на многие аспекты Интернета, включая информационные системы поиска (IR, Information Retrieval). Из-за этого стала возникать проблема, связанная с различием между текстами, написанными людьми, и текстами, сгенерированными моделями. Эта ситуация вызывает необходимость внедрения новых методов для точного идентифицирования и обработки контента. Существующие термин-ориентированные модели поиска (term-based retrieval models), такие как BM25, замечаются тем, что они ориентированы на тексты, написанные людьми. Недавние исследования указывают, что новые технологии, вроде моделей типа neural retrievers, могут предпочитать тексты, сгенерированные LLM. Это может привести к засухе в равномерной обработке контента, сгенерированного людьми и моделями. В данном исследовании мы рассматриваем эти проблемы, определяя, как LLM-generated text (текст, сгенерированный LLM) влияет на термин-ориентированные модели поиска, которые являются эффективными и хорошо универсальными в разных сферах. ################################# ## Метод ################################# Для изучения влияния LLM-generated text на термин-ориентированные модели поиска, мы приняли следующий подход: - **Модели и технологии**: Мы использовали несколько термин-ориентированных моделей, включая BM25, а также нейронные модели, оптимизированные для обнаружения текстов, сгенерированных LLM. - **Методы анализа**: Мы провели тщательный лексический и структурный анализ, сравнивая LLM-generated texts с текстами, написанными людьми. Для этого мы измеряли такие параметры, как Zipf-сложность (Zipf slope), терминозначимость (term specificity) и документ-уровневая разность (document-level diversity). - **Эксперименты**: Мы провели эксперименты на выборке данных, содержащей как тексты, написанные людьми, так и тексты, сгенерированные LLM. Мы измеряли, насколько эти модели отличают тексты на основе их источника и качества. ################################# ## Результаты ################################# Наши эксперименты показали следующие результаты: - **Выявленные тренды**: LLM-generated texts имеют более гладкие высокочастотные тенденции (Zipf slopes) и более резкие низкочастотные тенденции по сравнению с текстами, написанными людьми. Также они проявляют более высокую терминозность (term specificity) и документ-уровневую разность (document-level diversity). - **Источник-ориентированность моделей**: Мы обнаружили, что term-based retrieval models не проявляют сильного источника-ориентированного биаса (source bias). Эти модели более склонны выбирать документы, которые лучше соответствуют запросу, независимо от их источника. Эти результаты подсказывают

## Контекст AI-generated content (AIGC) технологии широко применяются в создании контента, но существуют значительные ограничения в генерировании пользовательно-индивидуальной контента. Реальные проблемы включают недостаточную модель представления пользовательских интересов и их интеграцию в процесс генерации, а также недостаток фактической консистентности в созданном контенте. В приложениях, таких как онлайн-реклама, один и тот же продукт может иметь множество продающихся особенностей, а разные пользователи могут обратить внимание на разные черты. Это продемонстрировано значительным потенциалом персонализированной, пользовательно-центрированной генерации контента. Основные проблемы, с которыми сталкиваются эти технологии, включают оптимальное моделирование пользовательских интересов, эффективность и масштабируемость для обработки больших пользовательских баз, а также скромность в готовых данных для обучения моделей. ## Метод HLLM-Creator представляет собой новую архитектуру на основе гибернархического текстового генератора (LLM). Она использует подход к моделированию пользовательских интересов через кластеризацию пользователей и стратегию целевого подбора пользователей и объявлений. Цикл цепочки-мысли организует построение информативных и фактически точных названий созданных контентов. Основная цель архитектуры — сочетать эффективность и точность в моделировании пользовательских интересов с генерацией содержательных и фактически точных результатов. Таким образом, HLLM-Creator может использоваться для эффективной генерации текстов, ориентированных на пользователя, в промышленных масштабах. ## Результаты Исследования проводились на собственном датасете под названием Douyin Search Ads. Модель была протестирована на задаче генерации персонализированных названий для рекламных объявлений. Экспериментальные результаты показали, что HLLM-Creator превосходит текущие модели по метрикам качества и эффективности генерации. Особенно была заметна повышенная точность в соответствии с пользовательскими интересами и уменьшение расходов ресурсов за счет применения стратегии центрального подбора пользователей и объявлений. Анализ А/B-тестов показал увеличение эффективности рекламных объявлений на 0.476%, что демонстрирует практическую значимость модели в реальных промышленных сценариях. ## Значимость HLLM-Creator широко применимо в сферах онлайн-рекламы, создания контента и поисковых систем. Он предлагает существенные преимущества, включая улучшенную точность моделирования пользовательских интересов, эффективность в масштабных приложениях и высоку

## Контекст Multimodal Large Language Models (MLLMs) стали одним из ключевых инструментов для решения задач визуального понимания и вопросно-ответных задач. Однако существуют значительные проблемы, в особенности при обработке развернутых PDF-документов с сложным сложностью и множественными визуальными и текстовыми слоями. Одним из главных ограничений является сильный языковой биас в процессе обучения, который приводит к меньшей эффективности при работе с языками, отличными от английского. Для решения этих проблем требуется фреймворк, который мог бы обеспечить глубокое понимание документов с разным сложностью и языковыми ограничениями. ## Метод Предлагаемый фреймворк основывается на идее визуально-языкового логического рассуждения, которое учитывает как визуальные, так и текстовые свойства документа. Основной метод заключается в декомпозиции задачи на подзадачи, при этом каждая подзадача обрабатывается с использованием предварительно обученных моделей. Это позволяет улучшить точность и скорость работы. Кроме того, в фреймворк внедрена стратегия колквен-оптимизированного поиска, которая позволяет эффективно искать информацию в PDF-документах. Метод также включает в себя стратегию верификации с помощью подзадач, чтобы улучшить точность ответов. ## Результаты Проведенные эксперименты прошли на большом корпусе PDF-документов с различной сложностью и языками. Модель показала значительное улучшение в сравнении с существующими алгоритмами, особенно в случае сложных документов. На тестовых данных модель превысила существующие методы, достигнув более высокой точности и проходя меньший процент ошибок. Эти результаты подтверждают эффективность встроенных методов обработки текста и визуальных данных. ## Значимость Предлагаемый подход может быть применен для решения широкого спектра задач, включая визуально-языковые задачи, вопросно-ответные системы и анализ документов. Основное преимущество заключается в улучшенной точности и более широком покрытии языков, что делает его подходом универсальным. Это может иметь значительное влияние в области промышленности, занятий, образования и других сферах, где требуется быстрая и точная обработка документов. ## Выводы Предложенный фреймворк демонстрирует значительный прогресс в области логического рассуждения для визуально-языковых задач. Он показал эффективность в обработке сложных документов и более широком языковом покрытии. В будущих работах будет продолжаться работа над улучшением модели, в том числе применением более развитых методов верификации и поиска для задач визуального понимания.

## Контекст В последние годы нейронные ранжирующие модели (NRMs) стали важной составляющей поисковых систем, обеспечивая высокую точность и эффективность в отборе релевантных документов. Однако, несмотря на их высокую эффективность, эти модели остаются уязвимыми к атакам, особенно в условиях малоизвестности (black-box), где злоумышленник не имеет прямого доступа к внутренней архитектуре модели. Например, новые технологии использования бо LLM (Large Language Models) позволяют злоумышленникам выдавать ложную информацию, которая может достаточно эффективно проникнуть в систему ранжирования, повлияв на решения пользователей. Это может привести к распространению заблуждений и недостоверной информации, значительно снижая доверие к поисковым системам. Наше исследование фокусируется на разработке новых методов атаки, которые могут опасно сказаться на качестве ранжирования в NRMs. ## Метод Мы предложили новую атаку, названную Few-Shot Adversarial Prompting (FSAP), которая использует возможности Large Language Models (LLMs) для создания атак в условиях малоизвестности. FSAP основывается на использовании небольшого набора примеров (few-shot examples), которые позволяют LLMs сформировать высокорейтинговые адверсарные документы. Наш метод не требует доступа к внутренней архитектуре модели, а также не требует постобработки или переписывания документов. Мы улучшили FSAP, создав два режима работы: FSAP-IntraQ, который фокусируется на локальной области (такой как один запрос), и FSAP-InterQ, который расширяет возможности для широкой общности, передавая атакующие шаблоны между различными запросами. Наши тесты показали, что FSAP может легко создавать высокорейтинговые, грамматически гармоничные и тематически согласованные документы, которые вносят негативный вклад в ранжирование, не вызывая подозрений на ложь. ## Результаты Мы проверили эффективность FSAP на двух теранскриптах TREC 2020 и 2021 по здоровью, используя четыре разных нейронных ранжирующие модели. Наши результаты показали, что документы, сгенерированные с помощью FSAP, становятся реальной угрозой для NRMs, выдавая ложное содержимое с высокой точностью, которое может занимать высокие позиции в поисковых результатах. Мы также выяснили, что FSAP может легко обойти системы, основанные на предыдущих методах, с помощью грамотно сформированного текста, который не вызывает подозрений. Это указывает на то, что FSAP может быть применен в разных сценариях, включая ситуации с открытым и закрытым исходным кодом LLMs. ## Значимость FSAP представляет собой значительную угрозу для нейронных ранжирующих моделей в поисковых системах. Е

#### Контекст Поиск научных статей является важной задачей для ученых и исследователей, поскольку во время работы над проектами или изучении новых тем требуется быстро находить актуальную и подходящую литературу. Обычно поиск осуществляется с помощью ключевых слов или коротких запросов, описывающих тему исследования. С другой стороны, с ростом глубины и широты исследований, пользователи могут требовать более точного поиска, учитывающего не только тему в целом, но и конкретные модули, технологии или характеристики, отраженные в статьях. Существующие системы поиска статей, основанные на абзацах или аннотациях, не могут справиться с такими поисковыми запросами, так как им не хватает детальной информации, необходимой для понимания подробных моментов в статьях. Мы предлагаем PaperRegister, систему, которая преобразует традиционные абзацные индексы в более детальный иерархический, позволяя выполнять поиск по финеграновой лексикографии. #### Метод PaperRegister состоит из двух основных компонентов: оффлайнного иерархического индексирования и онлайн-адаптивного поиска. Оффлайнный индекс представляет собой иерархическое дерево, в котором каждая ветвь содержит отфильтрованную информацию о конкретных модулях, аспектах или характеристиках статей. Это дерево построено на базе абзацев из текстов статей и их разделов, позволяя создать более точный индекс. Онлайн-поиск адаптивен и позволяет учитывать разнообразные уровни детализации в поисковых запросах. Например, пользователь может искать статьи, относящиеся к конкретной технологии, модулю или даже конкретной части кода. Такой подход позволяет увеличить точность и уникальность поиска, что является ключевым преимуществом PaperRegister. #### Результаты Для оценки эффективности PaperRegister проводились эксперименты на различных данных, включая большие корпуса научных статей. Проверялись различные уровни финеграновости запросов, от широких тем до специфичных модулей и характеристик. Результаты показали, что PaperRegister доминирует в сравнении с существующими методами, особенно в случае тонкой гранулярности. Так, при поиске по конкретным технологиям и модулям, PaperRegister показал значительное улучшение точности и разрешал значительно больше запросов, чем существующие системы. Эти результаты подтверждают хорошую точность и функциональность PaperRegister в реальных сценариях. #### Значимость Предложенная система может быть применена в различных областях, где требуется тонкая настройка и поиск по различным моделям и характеристикам. Например, PaperRegister может быть полезен в област

## Контекст Акurate identification of supporting evidence plays ключевую роль в успешном совершении любого вида судебного анализа. Тем не менее, существующие методы в области scientific fact checking сталкиваются с рядовыми ограниченийми, включая неэффективность в рейтинге документов не только по их релевантности, но и по их вкладу в фактографический анализ. Большая часть существующих моделей ориентирована скорее на оптимизацию релевантности, чем на точное выявление соответствий и оценку доказательств, что в свою очередь может привести к ошибочным выводам. Для улучшения этого подхода, в этой работе предлагается +VeriRel – модель, которая включает в себя фидбек верификации в процесс оценки документов. Этот подход значительно улучшает модель с верификационным фидбеком в рейтинге документов, который может быть использован для оценки подтверждающих документов в системах судебного анализа. ## Метод +VeriRel модель включает два основных компонента: классификацию документов по подтверждениям и оценку их вклада в верификационный процесс. Модель использует подходы глубокого обучения для оценки документов в свете их релевантности к судебной теме. Она включает в себя несколько этапов: (1) создание фидбека по верификации, (2) оценка документов по проверке верна наличие в них подтверждающих фактов, и (3) добавление этих результатов в рейтинг документов. Этот метод позволяет значительно улучшить точность и эффективность в рейтинге документов, относящихся к судебной теме. ## Результаты Результаты экспериментов показывают, что +VeriRel значительно превосходит существующие подходы в области scientific fact checking. Анализ проведен на трех наборах данных: SciFact, SciFact-Open и Check-Covid. На этих наборах данных, +VeriRel показала себя как наиболее эффективная в отношении точности в выявлении подтверждающих документов. Этот подход также показал пользующийся его использованием в верификационном процессе, что улучшает оценку верификационных результатов. Эти результаты указывают на то, что интеграция верификационного фидбека к рейтингу документов может значительно повысить качество судебного анализа. ## Значимость +VeriRel модель может быть успешно применена в множестве областей, включая legal analytics и scientific fact checking. Она улучшает точность и эффективность в выявлении подтверждающих документов, что может привести к более тщательной оценке доказательств и, как следствие, к более точным выводам. Важное преимущество этой модели заключается в том, что она позволяет значительно улучшить фактографический анализ, особенно в случаях сложных документов. Это может иметь значительное влияние на судебный анализ, особенно в области

#### Контекст Персонализированное поисковое взаимодействие (Personalized Conversational Information Retrieval, CIR) является важной областью исследований в современной информатике. Его целью является удовлетворение пользовательских сложных запросов к информации через многократные взаимодействия, при этом учитывая профиль пользователя. Однако не все запросы требуют персонализации. Основная проблема заключается в том, чтобы корректно интегрировать элементы персонализации во время поиска, когда это необходимо. Большинство существующих исследований неявно интегрируют личные данные и контекст беседы с помощью глубоких сетей, не различая требования каждого отдельного этапа беседы. Такой "один-размер-все" подход может привести к неэффективным результатам. Наша мотивация заключается в разработке универсального подхода, который может адаптироваться к разным уровням требований к персонализации в зависимости от контекста поискового запроса. #### Метод Мы предлагаем адаптивный подход к персонализации в CIR, который включает несколько ключевых этапов. Вначале, для каждого поискового запроса определяется требуемый уровень персонализации. Затем, используя эти оценки, мы создаем различные формулировки запросов, которые включают персонализацию в разных мерах. Далее, мы разрабатываем метод оценки результатов, который динамически назначает веса разным формулировкам запросов в зависимости от уровня требуемой персонализации. Архитектура нашего подхода, APCIR, включает модели оценки, системы формулирования запросов и механизмы объединения результатов для эффективного управления персонализацией во время поиска. #### Результаты Мы проводили эксперименты на двух наборах данных TREC iKAT, чтобы проверить эффективность нашего подхода. Мы сравнили результаты с текущими лучшими методами в области CIR. Наши эксперименты показали, что APCIR превышает состояние технологий в следующих аспектах: точность выдачи результатов, корректность интеграции персонализации и универсальность в разных сценариях обсуждения. Результаты демонстрируют, что наш подход значительно улучшает качество поиска, особенно в ситуациях, где требуется адаптивная персонализация. #### Значимость Наш подход может быть применен в различных практических областях, включая системы поиска, помощников на основе искусственного интеллекта и сервисы клиентской поддержки. Он предоставляет следующие преимущества: улучшение точности результатов, увеличение удовлетворения пользователей и увелечение эффективности обслуживания пользователей. Будущие исследования будут ориентированы на улучшение моделей адаптивной п