#### Контекст MultiModal Recommendation (MMR) системы представляют собой мощный подход к улучшению рекомендательных систем, используя богатые модальности содержимого товаров или услуг. Они поддерживаются значительным ростом в области компьютерного зрения, естественного языка и многих других технологий. Однако существуют критические проблемы. Первую связано с использованием необработанных модальных признаков для построения связей между элементами в поведенческих графах, что приводит к склонности к шуму и ограниченной учету коллаборативных паттернов. Вторая проблема заключается в неэффективном использовании механизмов корреляции модальности и поведения, из-за чего недостаточно усилены модальность-поведение корреляционные связи. Таким образом, необходимо разработать новые методы для облегчения этих ограничений. #### Метод Мы предлагаем EGRA (Enhanced Graph Representation Alignment), которая построена на двух ключевых инновациях. Во-первых, вместо непосредственного использования необработанных модальных признаков, EGRA создает поведенческий граф с помощью представлений, полученных от предобученной модели MMR. Это позволяет графу лучше отражать коллаборативные модели и модальные семантики, а также снизить шум. Во-вторых, EGRA вводит динамическую механику двухуровневого взвешивания связей, которая адаптивно регулирует силу связи в зависимости от ее уровня аллигации, при этом увеличивается общая сила связи в процессе обучения. #### Результаты Мы провели эксперименты на пяти различных датасетах, включая Amazon, Douban и MovieLens. Результаты показывают, что EGRA превосходит новейшие методы по метрикам Precision, Recall и NDCG. Этот улучшение доказывает ее эффективность в улучшении точности и стабильности рекомендаций. Более того, было проведено чувствительностное исследование, подтвердившее, что индивидуальные компоненты EGRA (например, динамическое взвешивание и построение графа) способствуют повышению качества рекомендаций. #### Значимость EGRA может применяться в различных рекомендательных системах, таких как покупки, видеопотоковые сервисы и другие области, где необходима сильная пользовательская сегментация и индивидуализация рекомендаций. Она предлагает преимущества в сокращении шума, улучшении точности и более устойчивой модальности-поведение аллигации. Будущие исследования будут сконцентрированы на экспандирующих EGRA для пользовательских поведенческих графов и интегрируя ее в более широкие системы рекомендаций. #### Выводы EGRA представляет собой прорыв в области модальности-поведение графов и доказывает ее эффективность в решении ключевых проблем MMR. Будущие работы буду

## Контекст В последнее время технологии генерирующих значимых ответов на основе вопросов (Retrieval-Augmented Generation, RAG) получили значительные улучшения благодаря развитию больших моделей языка (LLMs) и продвинутым системам доступа к документам (dense retrievers). Однако большинство существующих методов сталкиваются с трудностями при выполнении усложненных задач многошагового (многохопного) рассуждения, таких как устаревшие техники планирования, реформулирование запросов и отбор информации. Эти ограничения могут привести к поддельным результатам или неэффективным поисковым процессам. Целью этой работы является создание архитектуры, эффективно связывающей рассуждающий поиск и выполнение задач, чтобы улучшить ответы на запросы с многоступенчатым рассуждением. ## Метод Мы предлагаем метод под названием OPERA (Orchestrated Planner-Executor Reasoning Architecture), который включает в себя два главных модуля: Goal Planning Module (GPM) и Reason-Execute Module (REM). GPM декомпозирует запрос на множество подзадач (sub-goals), которые затем обрабатываются REM. REM включает специализированные модули для точного рассуждения и оптимального доступа к источникам. Для обучения OPERA мы предлагаем Multi-Agents Progressive Group Relative Policy Optimization (MAPGRPO), новый вариант метода политики градиента для многоагентных систем. Архитектура OPERA ориентирована на эффективное планирование и выполнение, чтобы улучшить точность и полноту ответов. ## Результаты Мы проводили эксперименты на нескольких сложных многошаговых задачах, включая ComplexWebQuestions и HotpotQA. Опыт показал, что OPERA превосходит текущие методы по метрикам точности и полноты ответов. В частности, OPERA показал значительное улучшение в сравнении с существующими системами, демонстрируя его эффективность в логическом планировании и выполнении задач. Эксперименты также продемонстрировали, что MAPGRPO позволяет улучшать процесс обучения и применяться для повышения уровня сложности задач, которые могут быть решены OPERA. ## Значимость Предложенная архитектура OPERA имеет широкие возможности применения в области генерирующих технологий, таких как роботов чата и системы поддержки решений. Она имеет преимущества по сравнению с другими подходами в ситуациях, требующих логического рассуждения и многошагового доступа к информации. Ожидается, что OPERA сможет стать ключевым инструментом для улучшения задач, требующих высокого уровня рассуждения, таких как работа с новостными данными, обработка технических запросов и поиск решений в области финансов и юриспруденции. ## Выводы Мы представили OPERA, новую архитектуру для многошагового рассуждения, которая основывается на системах генерирующих ответы на в

## Контекст Оптимизация методов градиентного спуска является ключевым аспектом работы многих технологий, включая машинное обучение и системы управления. Одна из самых выдающихся проблем в этой области — это достижение быстрого, стабильного и точного обучения. Одним из популярных подходов является использование механизма Дампенного Несторова для улучшения стабильности и эффективности оптимизации. Адаптивные методы, такие как Adam и NIRMAL, уже продемонстрировали свою эффективность в решении сложных задач. Однако существуют ситуации, когда эти методы могут столкнуться с ограничениями в силовой мощи или недостаточной стабильности. Данное исследование адресует эти проблемы, предлагая усовершенствованный НИРМАЛ (Novel Integrated Robust Multi-Adaptation Learning) с включенным механизмом Дампенного Несторова. Целью данного исследования является достижение более высокой точности и стабильности в процессе обучения. ## Метод Усовершенствованный НИРМАЛ (Enhanced NIRMAL) основывается на оригинальной модели НИРМАЛ, но включает в себя новую механику Дампенного Несторова. Эта механика включает в себя два ключевых компонента: (а) Несторовское ускорение, которое обеспечивает быструю сходимость и стабильность, и (б) Дампенный эффект, который помогает избежать переобучения и повышает устойчивость. Метод использует следующую архитектуру: (1) Несторовское ускорение для управления градиентом, (2) Адаптивные множители, для управления скоростью обучения, (3) Нормализация градиентов, для оптимального сбалансирования всех значений. Кроме того, Enhanced NIRMAL использует стратегию стохастической пертурбации и нелинейные трансформации для улучшения точности. Эти элементы объединены в комплексную модель, которая позволяет достичь более высокого уровня общей стабильности и эффективности. ## Результаты Для оценки эффективности НИРМАЛ с Дампенным Несторовом, авторы провели эксперименты на четырёх разнообразных наборах данных: MNIST, FashionMNIST, CIFAR-10 и CIFAR-100. Для каждого набора данных были использованы специально разработанные архитектуры сверточных нейронных сетей (CNN). Результаты показали, что Enhanced NIRMAL достиг тестовой точности в 46.06% на CIFAR-100, что является выше, чем результаты оригинального НИРМАЛ (44.34%). Также Enhanced NIRMAL показал низкую тестовую потерю (1.960435), что значительно превосходит результаты SGD с Моментумом (46.43% точности). Эти результаты указывают на то, что Enhanced NIRMAL предоставляет более высокую устойчивость и способность к общей обработке сложных данных.

#### Контекст Рекомендательные системы широко используются для улучшения пользовательского опыта и оптимизации эффективности платформ, обеспечивая помощь в принятии решений и снижении информационного нагружения. Несмотря на удачный результат традиционных подходов, таких как содержательный фильтр, коллаборативный фильтр и глубокое обучение, эти методы сталкиваются с значительными трудностями в сценариях "холодного запуска" и с данными под недостаточной поставкой. Обычные решения, такие как генерация поддельных последовательностей взаимодействий, часто вводят лишние или шумовые сигналы, а другие полагаются слишком сильно на семантическую схожесть, не учитывая динамические перемены мотивации пользователя. Данная работа предлагает новую модель рекомендаций — M-$LLM^3$REC — которая использует большие языковые модели для осмысления мотивационных сигналов из ограниченных пользовательских взаимодействий. #### Метод M-$LLM^3$REC представляет собой инновационный подход, основанный на трех модулях, которые взаимодействуют для повышения точности рекомендаций. Модуль Motivation-Oriented Profile Extractor (MOPE) извлекает характеристики пользователя, учитывая их мотивационные приоритеты. Motivation-Oriented Trait Encoder (MOTE) строит мотивационные профили, используя языковые модели для глубокого понимания поведенческих трендов. Модуль Motivational Alignment Recommender (MAR) вырабатывает рекомендации, коррелируя мотивационные профили с элементами рекомендательной базы. Эта модель основывается на подходе, который добавляет в систему новый уровень подробности, опираясь на мотивационные сигналы, определяя более точные и личностно нацеленные рекомендации. #### Результаты Эксперименты проводились на различных данных рекомендаций, включая широкие наборы пользовательских взаимодействий и известные датасеты для оценки качества. Модель M-$LLM^3$REC показала значительное улучшение точности рекомендаций в сравнении с состоянием технологии, особенно в сценариях "холодного запуска". Использование языковых моделей для извлечения мотивационных признаков привело к более точному пониманию пользовательского поведения, с значительной уменьшением числа шумовых сигналов. Результаты подтверждают, что M-$LLL^3$REC значительно повышает точность рекомендаций и обеспечивает персонализированный подход, даже при ограниченных данных. #### Значимость Модель M-$LLM^3$REC может применяться в различных областях, включая коммерческие платформы, социальные сети и ресурсы контента. Она предлагает значительные преимущества, такие как улучшение точности рекомендаций, более глубокое пониманиу мотивации пользователя и уменьшение шума в данных. Эта модель может положительно сказать

## Контекст Информационное восстановление (IR) и текстовое понимание являются ключевыми областями искусственного интеллекта, которые находят применение в различных приложениях, включая поисковые системы и диалоговые системы. Одна из сложностей в этих областях заключается в том, чтобы обеспечить высокую точность и человеческий качество ответов при ограниченных ресурсах и временных ограничениях. Классические подходы к IR основываются на классификации, опорных векторах и других статических методах. Однако эти подходы часто не способны адаптироваться к контексту и неоднородности данных. Недавние развития в области генерирующих моделей и адаптивного IR позволили ввести новые подходы, которые могут оптимизировать результаты в реальном времени. Одна из таких технологий — Retrieval-Augmented Generation (RAG), которая объединяет документов из внешних источников с мощными генерирующими языковыми моделями. Тем не менее, большинство RAG-систем статичны по дизайну, что ограничивает их эффективность в сложных задачах, которые требуют итеративного поиска и высокоточного восстановления. В этом контексте возникает потребность в развитии более динамичных методов, которые могут использовать фидбек от пользователя или системы для улучшения результатов. ## Метод В центре данного исследования лежит RAG-фреймворк, который использует документы из внешнего корпуса для улучшения понимания и генерации ответов. Методология основывается на двух основных компонентах: 1) внешний корпус документов, используемый для восстановления информации, и 2) модель генерирующего языка, которая формирует ответы на основе полученной информации. Ключевым инновационным аспектом является внедрение адаптивного механизма фидбека. Этот механизм позволяет модели адаптироваться к новым сигналам, которые могут быть получены как от пользователя, так и от системы. Разработанная архитектура включает в себя следующие этапы: 1. **Инициализация корпуса**: Выбор и инициализация внешнего корпуса документов. 2. **Извлечение фидбека**: Идентификация и извлечение фидбека из пользовательских запросов или интерактивных сигналов. 3. **Обновление модели**: Использование фидбека для обновления модели и внесения изменений в корпус документов. 4. **Повторная итерация**: Запуск новой итерации с учетом обновленных данных. ## Результаты Исследование включало эксперименты на нескольких датасетах, включая TREC-COVID, CQADupStack и GovReport. Были проведены сравнительные анализы с другими подходами, включая традиционный IR и статические RAG-системы. Основные результаты включают: -

## Контекст Mordern industrial recommendation systems обычно используют два этапа: retrieval (поиск) и ranking (оценка). Во время поиска требуется обработка огромного объема данных, чтобы найти подходящие элементы пользователю. Одним из ключевых моментов является улучшение процесса поиска, который может быть достигнут с помощью интеграции различных видов сведений об объектах (items), включая такие как текстовые описания, изображения и другие модальности. Однако, существуют проблемы в этой области. В то же время, существующие методы трудно используют раннее поведение пользователя (lifelong sequence behavior) на этапе поиска, частично из-за того, что эти поведений трудно внедрить в существующие структуры данных. Кроме того, многие существующие модели поиска ориентированы только на взаимодействие между пользователем и объектом, не учитывая возможности использования многомодальных данных, которые могут повысить точность и эффективность рекомендательных систем. ## Метод Мы предлагаем MISS (Multi-Modal Indexing and Searching with Lifelong Sequence) — первый подход, который интегрирует многомодальность и lifelong sequence modeling в рамках мощной tree-based retrieval architecture. Наша архитектура состоит из двух основных компонентов: 1. **Multi-Modal Index Tree (Многомодальный индексный дерево)**: Дерево создается на основе многомодальных embedding (представлений) элементов, что позволяет эффективно представить их схожесть. Это дерево обеспечивает быстрый и точный поиск пользовательских запросов. 2. **Multi-Modal Lifelong Sequence Modeling (Многомодальная модель lifelong sequence)**: Для того, чтобы лучше понять разные интересы пользователей в ходе временной последовательности взаимодействий (lifelong behavior), мы предлагаем Collaborative General Search Unit (Co-GSU) и Multi-Modal General Search Unit (MM-GSU). Эти модели позволяют эффективно искать пользовательские интересы в разных аспектах, без затруднений, связанных с большим количеством данных. ## Результаты Мы проводим эксперименты с использованием реальных данных, чтобы проверить эффективность нашей модели. Наши эксперименты показали, что MISS на сравнительно большом датасете показывает значительное улучшение в точности и эффективности по сравнению с текущими методами. Кроме того, мы проводим анализ, в котором показываем, что использование многомодальности и lifelong sequence modeling позволяет значительно повысить качество рекомендаций. ## Значимость Наша модель может применяться в различных сферах, таких как рекомендация товаров, содержимого, и даже в здравоохранении. Основное преимущество MISS заключается в том, что она может эффективно использовать различные виды сведений, в том числе многомодальные данные и поведение пользователя в течение времени. Это повышает качество рекомендаций, улучшает пользовательский опыт и может привести к значительным повышениям в производительности систем рекомендаций в бо

## Контекст Local life service (LLS) является важной областью в приложении Kuaishou, где рекомендация видео тесно связана с местоположением магазинов. Это создает сложные проблемы рекомендации, так как требуется учитывать интересы пользователей и их реальное местоположение в реальном времени. Чтобы справиться с такими вызовами, в сценарии LLS возникла новая парадигма — end-to-end generative recommendation. Такие модели, как OneRec для кратких видео, OneSug для поиска и EGA для рекламы, уже доказали свою эффективность. Однако в LLS такой модели не была ранее разработана, что связано с необходимостью решения двух ключевых проблем: оптимальное использование географической информации и баланс между целями, такими как интересы пользователей, расстояние до магазинов и бизнес-цели. ## Метод Для решения этих проблем предлагается OneLoc, которая использует географическую информацию с нескольких ракурсов: (1) geo-aware semantic ID объединяет видео и географические данные в единый вектор, (2) geo-aware self-attention в энкодере учитывает похожесть между местоположениями видео и реального местоположения пользователя, и (3) neighbor-aware prompt включает контекстную информацию о магазинах вокруг пользователя. Для балансировки целей используется reinforcement learning с двумя новыми функциями награды: geographic reward и GMV reward. Этот подход позволяет OneLoc эффективно адаптироваться к сложностям сценария LLS. ## Результаты Эксперименты проводились с использованием реальных данных из LLS. OneLoc показала существенные улучшения по глобальной цели GMV (Gross Merchandise Value) и количеству заказов. Оффлайн-тесты показали увеличение GMV на 21.016% и количество заказов на 17.891% в сравнении с базовой моделью. Также было проведено online A/B testing, в ходе чего были получены улучшения в GMV и количестве заказов, что доказывает эффективность OneLoc в реальной среде. ## Значимость OneLoc имеет широкие потенциальные применения в сфере рекомендательных систем, особенно в средах, где географическая информация играет ключевую роль. Она позволяет улучшить качество рекомендаций, учесть расстояния между пользователем и магазинами и увеличить доходные показатели. Благодаря своей уникальной архитектуре, OneLoc значительно повышает эффективность рекомендаций, делая их более отвечающими потребностям пользователей и целям бизнеса. ## Выводы OneLoc достигла заметных улучшений в LLS, демонстрируя свою эффективность в оффлайн и онлайн-тестах. Будущие исследования будут фокусироваться на расширении функциональности, улучшении точности и учете дополнительных факторов, таких как динамические изменения географических условий. Это позволит OneLoc стать еще более мощным инструментом для

#### Контекст Конверсационные рекомендательные системы (CRS) предоставляют персонализированные рекомендации с помощью многократных общений. Однако многие существующие подходы не учитывают различия в поведении потребителей, такие как различные стили принятия решений и уровни знаний. Это ограничивает точность и эффективность таких систем. Наша мотивация заключается в создании метода, который бы учитывал эти различия, чтобы повысить качество рекомендаций и уменьшить количество общений. #### Метод Мы предлагаем CT-CRS (Consumer Type-Enhanced Conversational Recommender System), который включает моделирование потребительских типов в процесс рекомендации. Мы определили четыре типа пользователей: зависимый, эффективный, осторожный и экспертный, исходя из двух измерений: стиля принятия решений (максимизаторы и сатисфисеры) и уровня знаний (высокий и низкий). Для идентификации пользовательских типов в реальном времени мы используем историю интеракций и тюнинг бо LLM. Мы внедрили моделирование типов пользователей в состояние диалога и разработали адаптивную политику, которая адаптирует рекомендации под каждый тип пользователя, учитывая их необходимости. Для оптимизации диалоговой политики мы применили Inverse Reinforcement Learning (IRL), чтобы улучшить ее приближение к экспертным стратегиям. #### Результаты Мы проверяли нашу модель на данных с LastFM, Amazon-Book и Yelp. CT-CRS показал высокую точность рекомендаций и значительно сократил количество общений по сравнению с базовыми алгоритмами. Анализы абляции подтвердили значимость моделирования потребительских типов и оптимизации IRL для достижения этих результатов. #### Значимость CT-CRS может использоваться в различных сферах, где требуется персонализированная рекомендация, например, в сфере обслуживания клиентов, магазинов и информационных систем. Он предлагает преимущества в виде более точных рекомендаций, эффективности и удобства для пользователей. Его включение в реальном времени моделирования пользовательских типов и оптимизации диалоговой политики делает его систему гибкой и эффективной. #### Выводы Мы успешно продемонстрировали, как моделирование потребительских типов и оптимизация диалоговых политик могут улучшить работу CRS. Наши результаты показали значимые повышения точности и эффективности. Мы намерены продолжать исследовать расширение моделей потребительских типов и использование других алгоритмов машинного обучения для улучшения рекомендательных систем.

#### Контекст В последние годы, релевантность поиска в электронной коммерции стала центральной задачей, так как качество поискового запроса определяет удовлетворенность пользователей и показатели продаж. Несмотря на то, что модели типа BERT демонстрируют значительные улучшения в семантическом поиске, они ограничены в своих мощностях рационального продуманного анализа. Большие языковые модели (LLMs), хотя и обладают более высоким потенциалом, обычно используются в дискриминативном режиме или дистилляции для оптимизации производительности в реальном времени. Недостаток логического рассуждения в этих моделях приводит к проблемам, таким как ошибки цепочки мышления (Chain-of-Thought, CoT), приторговывание (hallucination) и сложности при развертывании. Мы предлагаем TaoSR1, новую рамочную модель, которая адресует эти проблемы и вводит новый подход к применению CoT-рассуждений для решения проблемы релевантности. #### Метод TaoSR1 основывается на трех этапах обучения и оптимизации: 1. **Supervised Fine-Tuning (SFT) с Chain-of-Thought**: Мы используем CoT для внедрения логического мышления в модель. Это помогает модели логически рассуждать при выполнении задачи. 2. **Offline Sampling c Pass@N и Direct Preference Optimization (DPO)**: Мы используем технику прохождения (Pass@N) и DPO для улучшения результатов поиска. Это позволяет модели лучше выделять и отсортировать варианты. 3. **Difficulty-based Dynamic Sampling с Group Relative Policy Optimization (GRPO)**: Мы применяем динамическое выборничество сложности с использованием GRPO для минимизации риска ошибок. Кроме того, мы используем пост-CoT обработку и метод разбиения по суммарной вероятности, чтобы обеспечить эффективное развертывание в реальном времени. #### Результаты Мы произвели эксперименты на различных данных, включая стандартные наборы для оценки релевантности. Модель TaoSR1 показала значительное превосходство по сравнению с базовыми моделями в контексте математических задач и релевантности поиска. Особенно важно наблюдать, что во время экспериментов, проведенных с принципом side-by-side human evaluation, TaoSR1 превзошла существующие модели, особенно в ситуациях, требующих более высокого уровня логического рассуждения и выбора. #### Значимость TaoSR1 предлагает новый подход к решению проблемы релевантности в поисковых запросах. Она может быть применена в различных сферах, включая электронную коммерцию, социальные сети и поиск информации. Ее преимущества заключаются в улучшенной точности и мощности рассуждения, что способствует более удовлетворительному пользовательскому опыту. Будущие исследования будут сконцентрированы на дальнейшем улучшении модели и ее применении в различных контекстах. #### Выводы Мы представляем Tao

#### Контекст В последние годы рекомендательные системы развивались от простого предоставления списков рекомендаций к полноценным системам, предлагающим конкретные рекомендации по разным темам. Особенно это справедливо для консультативных рекомендательных систем (CRS), которые перешли от простых методов восстановления информации с использованием технологий генеративных МЛ-систем к системам с развитым самостоятельным разумом и способностью к корректировке. Однако самостоятельные системы сталкиваются с проблемой задержки ответа, что является серьезным ограничением для использования в реальном времени. Требуется создание системы, которая бы балансировала сложность обработки запросов и снижала задержку отклика. #### Метод Мы предлагаем AdaptJobRec — первую консультативную систему рекомендации рабочих мест, которая использует автономных агента для интеграции рекомендационных алгоритмов. Эта система включает механизм определения сложности пользовательского запроса, чтобы снижать задержку отклика. Для простых запросов, агент автоматически выбирает подходящий инструмент для быстрого ответа. Для сложных запросов он использует модуль обработки памяти для фильтрации чат-истории, а затем отправляет результаты в интеллектуальный модуль декомпозиции задач. Наконец, задачи выполняются с помощью персонализированных рекомендационных инструментов. #### Результаты Мы провели эксперименты на реальных данных Walmart о рабочих местах. В результате AdaptJobRec уменьшил среднюю задержку отклика на 53,3% по сравнению с конкурирующими системами, при этом значительно повысив точность рекомендаций. Это демонстрирует эффективность системы в условиях реального мира. #### Значимость AdaptJobRec может быть применено в сферах карьерных рекомендаций, образовательных планирований и других областях, где необходима точная и простая рекомендация. Одним из основных преимуществ является снижение задержки отклика, что позволяет улучшить пользовательский опыт. Будущие исследования будут направлены на улучшение моделей самостоятельного разума и расширение системы на другие языки и регионы. #### Выводы AdaptJobRec — это первый пример агентской системы рекомендации, которая эффективно балансирует сложность запросов и минимизирует задержку отклика. Это достигнуто благодаря использованию автономного агента и памяти для обработки запросов. Дальнейшие исследования будут сфокусированы на улучшении точности и гибкости системы для различных сценариев использования.