#### Контекст Возникновение новых значимых открытий в области расширения возможностей искусственного интеллекта для улучшения ретриева информации демонстрирует важность развития систем, способных эффективно решать задачи, требующие рационального мышления. Обычные методы, основанные на лексических и семантических совпадениях, часто не могут справиться с задачами, требующими абстрактного рассуждения, аналогичного мышления или многоэтапного вывода. Например, рассмотрим запросы, требующие поиска решений для многоуровневых проблем в сфере финансового анализа или юридического совета. Эти сложности вынуждают разработчиков искать более внимательные подходы, которые могут улучшить качество ретриева информации, выполняя сложные вычисления и анализ. #### Метод DIVER представляет собой многоэтапную модель, специально разработанную для решения задач, требующих интенсивного рассуждения. Она состоит из четырех ключевых компонентов. В начале используется процесс обработки документов, направленный на улучшение качества входных данных. Затем вводится LLM-driven query expansion, основанный на итеративной модели интеракции с документами, которая позволяет обобщить запросы. Эта стадия использует синтетические данные с многоуровневой структурой. Затем DIVER применяет реалистичную модель ретриева, которая включает в себя фазу выделения hard negatives. В заключении, DIVER использует pointwise reranker, который сливает вычисляемые показатели ретриева с оценками полезности, сгенерированными LLM. Эта система стремится повысить качество ретриева информации за счет точного воспроизведения логики и многоуровневого мышления. #### Результаты На тестовой выборке BRIGHT benchmark, DIVER показал выдающиеся результаты на высокосложностных задачах. Он достиг nDCG@10 в 41.6 и 28.9, что значительно превосходит другие модели. Эти результаты указывают на значительное улучшение качества ретриева в сложных задачах, требующих аналитического и абстрактного мышления. Эффективность DIVER подтверждается сравнением с соревнующими моделями, демонстрирующими, что его многоэтапная модель может эффективно обрабатывать задачи, требующие рационального рассуждения. #### Значимость DIVER является важной моделью в области расширения возможностей ретриева информации в сложных сценариях. Эта модель может иметь широкое применение во многих областях, таких как юридический анализ, финансовый мониторинг и медицинский диагноз. Избыточность данных и сложность запросов в этих областях делают DIVER незаменимым инструментом. Он демонстрирует высокую эффективность в решении задач, требующих рационального мышления и анализа.

## Контекст На сегодняшний день рекомендательные системы широко используются в различных областях, включая торговлю, медиа и социальные сети. Однако одна из самых затруднительных задач, с которой им сталкиваются, является ситуация колдустарта (cold-start). В этом случае рекомендательная система должна делать рекомендации для новых товаров, услуг или контента, которые еще не имели достаточного количества взаимодействий для точного определения их характеристик. Это проблема особенно актуальна для модельных данных, где ограниченный объем данных не дает полного представления о природе объекта. Одним из подходов для улучшения рекомендаций в таких ситуациях является использование многомодального подхода, который позволяет воспользоваться различными типами данных, такими как текст, изображения и аудио. Тем не менее, существующие методы часто ограничены своим простотой и не могут учесть взаимосвязи между модальностями, что приводит к недостаточной точности рекомендаций. Мотивация для нашего исследования заключается в разработке более точного метода, который мог бы адаптироваться к характеристикам каждого объекта и учитывать все модальности. ## Метод Мы предлагаем Mixture of Experts (MoE) фреймворк, названный MAMEX (Multi-modal Adaptive Mixture of Experts), который учитывает не только многомодальность, но и адаптируется к специфике каждого объекта. MAMEX состоит из сетей специальных экспертов, каждый из которых отвечает за обработку определенной модальности (например, текста, изображения или аудио). Для динамического влияния модальностей мы вводим емкостный механизм гатевания (gating mechanism), который адаптивно изменяет вклад каждой модальности на основе ее характеристик. Этот механизм позволяет MAMEX акцентироваться на самых информативных модальностях для каждого объекта, при этом сохраняя гибкость при отсутствии некоторых модальностей. Модель обучается с помощью градиентного спуска, при этом мы вводим специальные функции потерь, чтобы оптимизировать точность рекомендаций. ## Результаты Мы провели эксперименты на нескольких бенчмарк-датасетах, включая Amazon и Pinterest. Наши результаты показали, что MAMEX превосходит состояние технологий в ситуациях колдустарта, достигая более высокой точности и адаптивности. Например, на датасете Pinterest, MAMEX улучшил NDCG (Normalized Discounted Cumulative Gain) на 15% по сравнению с основными методами. Мы также провели анализ гибкости MAMEX, проверив его в ситуациях, когда некоторые модальности отсутствуют. Результаты показали, что MAMEX устойчиво к таким ситуациям и продолжает показывать высокую точность. Эксперименты были проведены с использованием TensorFlow и PyTorch, а код доступен на GitHub для дальнейшего ис

#### ## Контекст В современном бизнесе и науке возрастает нужда в системах, которые могут эффективно искать и анализировать информацию из разных источников. Традиционные поисковые системы, ограниченные одним контекстом (локальным или веб-ресурсам), не могут полностью удовлетворить потребности предприятий, требующих системы, которая умеет объединять результаты поиска из разных источников. В данной статье предлагается решение этой проблемы, разработав фреймворк, который может выполнять поиск в локальных и веб-источниках одновременно, обеспечивая более точные и полные результаты. #### ## Метод Фреймворк **HierSearch** основывается на принципах гибридного подхода, используя два основных уровня: локальный и веб-поиск. Нижний уровень включает два подхода: локальный и веб-поисковые агенты, которые отдельно работают с своими источниками, используя глубокое обучение. Верхний уровень представляет собой планировщика, который координирует действия нижних уровней, обеспечивая контекстуальную связь результатов. Для улучшения качества ответов используется механизм "Кновлдже Рефайнер", который отфильтровывает ненужную или неточную информацию. Фреймворк тренируется с помощью гибридного г DEEP Q-LEARNING. #### ## Результаты В ходе экспериментов были проверены различные сценарии поиска в различных областях: генеральные, финансовые и медицинские. На основе данных были произведены сравнительные тесты с другими подходами, такими как радикальный поиск и многоисточниковый поиск. **HierSearch** показал значительное превосходство в точности поиска и скорости работы. Он был лучше в разы в ситуациях, когда требовалось объединение информации из разных источников. #### ## Значимость Фреймворк может быть применен в различных сферах, где необходим прецизионный поиск, например, в финансовой отрасли для анализа рыночных трендов, в медицине для поиска новых лекарственных препаратов или в образовательных системах для доступа к широкой базе знаний. **HierSearch** предлагает значительные преимущества в скорости и точности, что может привести к улучшению производительности работников и ускорению принятия решений в различных корпоративных задачах. #### ## Выводы В результате исследования был разработан **HierSearch**, продемонстрировавший значительное превосходство перед существующими методами. Будущие исследования будут направлены на улучшение механизма фильтрации, а также на расширение поддерживаемых типов источников информации, включая видео- и аудио-контент. Это может привести к еще большему расширению применений данного фреймворка в различных областя

## Контекст В современных рекомендательных системах большие таблицы обработки входных данных (embedding tables) играют ключевую роль, позволяя эффективно запоминать интересные характеристики взаимодействий между различными субъектами. В Pinterest Ads, где рекомендательная система играет важную роль в подборе рекламных материалов, были определены ряд сложностей при использовании таких таблиц. Например, проблемы с пропусками (sparsity) и масштабированием стали существенными зданиями для нашего анализа. Также, попытки создать и обучить такие таблицы начиная с нуля привели к незначительным изменениям в основных метриках, таких как CTR (Click-Through Rate) и CVR (Conversion Rate). Эти ограничения привели к разработке продвинутых технических решений, включающих в себя многообразие подходов к предобучению (pretraining) для улучшения качества обработки входных данных. ## Метод Мы разработали многогранный подход к предобучению (multi-faceted pretraining) для больших таблиц обработки входных данных, который включает в себя несколько методов предобучения. Основная мотивация заключалась в том, чтобы улучшить качество предобучения, чтобы обеспечить эффективную обработку данных в рекомендательных системах. Наша архитектура включает гибридную систему обслуживания (CPU-GPU), позволяющую преодолеть ограничения памяти GPU. Мы также применяли продвинутые техники для работы с пропусками (sparsity), чтобы улучшить обработку данных в рекомендательных системах. Эти техники позволили нам создать уникальный подход к обработке данных в Pinterest Ads, который позволил повысить качество рекомендаций и уменьшить затраты на рекламу. ## Результаты Мы провели ряд экспериментов, используя разные данные и методы. В результате, мы заметили, что наш подход позволил повысить CTR на 2.60%, а CVR на 1.34%, при этом не изменяя общую задержку (end-to-end latency). Данные результаты подтверждают эффективность нашего многогранного подхода к предобучению, который позволяет повысить качество рекомендаций в рекомендательных системах, в то же время сохраняя эффективность и масштабируемость. Эти положительные результаты были получены благодаря нашему гибридному серверу, который удалось преодолеть ограничения памяти GPU и повысить масштабируемость. ## Значимость Многогранный подход к предобучению таблиц обработки входных данных имеет широкие возможности для применения в различных рекомендательных системах. Он позволяет улучшить качество рекомендаций и повысить эффективность обработки данных, что может привести к повышению конверсии и снижению затрат в рекламной области. Этот подход также имеет потенциал для применения в других сферах, где требуется эффективная обработка и анализ данных. Этот достижение демон

## Контекст Многоmodalная рекомендация стала одной из самых просматриваемых областей в машинном обучении и рекомендательных системах. Она ориентируется на использование разнообразных модальных данных (например, текст, картинки, звук) для повышения точности рекомендации. Несмотря на высокую производительность многих существующих рекомендательных систем, они часто сталкиваются с проблемами, такими как недостаточное использование семантических связей между элементами, влияние шума в данных и недостаточная точность восприятия пользовательских предпочтений. Эти проблемы существенно снижают эффективность рекомендательных систем. Таким образом, необходимо разработать методы, которые могут эффективно обрабатывать многоmodalные данные, улучшать семантические связи и становиться устойчивыми к шуму в данных. ## Метод Метод, предлагаемый в статье, называется Semantic Item Graph Enhancement for Multimodal Recommendation. Он включает несколько ключевых элементов: 1. **Информационное взаимодействие между модальностями**: Авторы используют модальности для строительства семантических графов элементов, внедряя сигналы взаимодействия пользователей с этими модальностями. 2. **Механизм персонализированного взятия перестройки**: Данный механизм внедряет перестройки в графы семантических связей элементов, которые ориентированы на персональные характеристики пользователя. 3. **Двойной механизм выравнивания представлений**: Авторы применяют два уровня выравнивания — один для семантических графов, а другой для поведенческих данных. Это позволяет добиться консистентности в представлении и уменьшить влияние шума в данных. ## Результаты Проведенные эксперименты показали высокую эффективность производительности метода на четырёх различных датасетах. Авторы демонстрируют, что использование многоmodalных семантических графов, вдобавок к стандартным поведенческим графам, позволяет значительно улучшить точность рекомендаций. Также оптимизация с помощью модулярной перестройки и двойного выравнивания представлений дает стабильность и уменьшает влияние шума в данных. ## Значимость Этот метод может быть использован в различных областях, включая электронную коммерцию, социальные сети и медиа-рекомендации. Он обеспечивает более точные рекомендации, уменьшает влияние шума в данных и улучшает удобство использования рекомендательных систем. Благодаря своей модулярной архитектуре, он может быть простым внедрен в существующие рекомендательные системы, давая им новый потенциал для улучшения. ## Выводы Метод Semantic Item Graph Enhancement for Multimodal Recommendation демонстрирует эффективность в обработке многоmodalных д

На популярных платформах локальных услуг сталкиваются с проблемой правильного моделирования поведения пользователей в условиях сильной специфичности местности и сильной специальной зависимости. Рекомендательные системы сталкиваются с недостатком длинных поведенческих последовательностей и сильной специальной зависимостью времени и места. Данная работа предлагает метод Spatio-Temporal Periodic Interest Modeling (STIM), который использует идею динамического забывания, аналогичной человеческой памяти. STIM включает в себя модуль динамического маскирования, основанный на кривой забывания, для извлечения резких и периодических спато-временных признаков. Он также включает в себя метод смеси экспертов (MoE), который адаптивно активирует экспертные сети для моделирования времени, места и предметов, а также многоинтересовой сети, которая позволяет охватывать различные интересы пользователей. Оценивая этот подход в реальных условиях, были получены улучшения в производительности системы, включая повышение объема транзакций на 1,54%. STIM был развернут в большой рекомендательной системе и сейчас используется для работы с миллионами пользователей.

В современных UGC-платформах, где используется объединение восстановления и генерации (RAG) для поиска, точность анализа взаимосвязи запроса и документа является ключевым фактором успешной работы. Однако существуют две основные проблемы: неполный пользовательский отзыв и значительное количество шума в неструктурированных данных. Для решения этих задач предложен модельный подход Reinforced Reasoning Model for Relevance Assessment (R3A), который представляет собой разделенное обучение с подкреплением для достижения более точной оценки соответствия. R3A использует высокоспорядные документы для интерпретации потенциального пользовательского запроса и экстракции связанных фрагментов для подтверждения релевантности. Этот подход уменьшает ошибки, вызванные непонятностью и неструктурированностью данных. Исследовательские эксперименты показали, что R3A превосходит другие модели по метрикам релевантности в оффлайн- и онлайн-тестировании.

**Резюме** Современные рекомендательные системы сталкиваются с значительными вызовами при масштабировании моделей, включая необходимость учитывать структуру потоковых данных, адаптироваться к различным рекомендательным поверхностям и соблюдать жесткие ограничения по задержке и вычислительной сложности. Для решения этих проблем предлагается **Foundation-Expert Paradigm**, ориентированная на развитие и развертывание масштабных моделей рекомендаций. Центральная модель обучается на кросс-сурфасной, мультимодальной данной для извлечения общей значимости, которая потом эффективно передается "экспертным" моделям, специально подготовленным для конкретных поверхностей и задач рекомендаций. Это решение реализовано в системе HyperCast, которая перерабатывает тренировку, развертывание и логирование, при этом сохраняя высокую производительность. Исследования показали, что данная модель улучшает онлайнные показатели и эффективность развертывания, являясь первым успешным примером такого подхода на масштабе Meta, предлагая эффективный и практичный метод для реализации сценариев масштабирования в рекомендательных системах.

**Резюме** В статье представлена LLM-based IR-система, разработанная для поддержки банковских надзорных органов в создании консистентных и эффективных мер. Банковские надзорные органы часто сталкиваются с проблемой учета исторических прецедентов при выработке новых мер. Проектируемая система решает эту проблему, позволяя надзорным органам получить сведения из базы данных научных работ по аналогичным случаям. Она использует множественные методы поиска, включая лексический, семантический и fuzzy set matching по модели CRR, для точного выявления наиболее подходящих документов. Система проверена с помощью Monte Carlo-метода на частично отмеченных данных, показала высокую точность и устойчивость. Использование Transformer-based Denoising AutoEncoder для тюнинга позволило достичь высоких результатов: Mean Average Precision (MAP@100) — 0.83 и Mean Reciprocal Rank (MRR@100) — 0.92. Эти показатели превышают результаты однородных моделей BM25 и BERT-подобных. Таким образом, предложенная система является эффективным инструментом для повышения качества и согласованности нормативных мер в банковском надзоре.

В статье предлагается Reliable Evaluation Protocol for Low-Precision Retrieval, решающий проблему нестабильности оценочных метрик при использовании низкой числовой точности в системах восстановления информации. Уменьшение точности позволяет эффективно использовать ресурсы, но приводит к связыванию элементов с одинаковым скором, что нарушает надежность оценки. Решением является двухэтапный подход: High-Precision Scoring (HPS), который задействует высокую точность только на этапе подсчета релевантности, и Tie-aware Retention Metrics (TRM), определяющий квантильные характеристики релевантности для точного определения результатов. Эксперименты показали, что HPS значительно уменьшает нестабильность, а TRM точно восстанавливает метрики рейтинга. Этот подход обеспечивает устойчивую и достоверную оценку релевантности в системах с низкой точностью.