## Контекст Персонализированная ретейрированная генерация (Personalized Retrieval-Augmented Generation, RAG) представляет собой процесс создания ответов, которые хорошо соответствуют пользовательским предпочтениям, через интеграцию входного запроса с индивидуальными профилями пользователей, полученными из базы данных. Эта технология найдет применение в различных сферах, включая искусственный интеллект для обслуживания клиентов, социальные сети и интеллектуальные помощники. Существующие подходы в основном сосредоточены на улучшении механизмов поиска информации, в которых большие языковые модели (LLMs) неявно интегрируют полученную информацию с запросом. Однако такие подходы чувствительны к качеству результатов поиска и могут привести к ответам, не соответствующим ожиданиям пользователей. Необходимо разработать метод, который бы учитывал эти проблемы и обеспечивал более точное соответствие ответов пользовательским предпочтениям. ## Метод Предлагаемый подход, названный PrLM (Personalized Reasoning Large Model), является рамочной методологией, основанной на усовершенствованном техническом подходе. Он использует LLM для эксплицитного разума об информации, полученной в результате поиска. Модель оптимизируется с использованием решающего метода, основанного на принципах контрастирования, где генерируемые ответы сравниваются с идеальными ответами, обученными на данных пользовательских ответов. Это позволяет модели глубоко понять пользовательские предпочтения без необходимости иметь заранее подготовленный набор размеченных примеров. Такая архитектура позволяет применять модель в различных сценариях, где требуется персонализация. ## Результаты Проведены эксперименты на трех различных датасетах, подразумевающих персонализированную текстовую генерацию. Результаты показали, что PrLM превосходит другие подходы в метриках качества генерируемого текста, таких как BLEU, ROUGE и METEOR. Особое внимание уделено сравнению с конкурентными методами в ситуациях, когда число профилей пользователей или алгоритмов поиска меняется. Результаты показали, что PrLM остается стабилен и эффективен, независимо от количества профилей или их качества. Это значит, что модель не только выдает высококачественные ответы, но и подходит для применения в реальных условиях. ## Значимость Предложенный подход имеет широкие возможности для применения в различных областях. Например, он может использоваться для создания более индивидуальных ответов в системах обслуживания клиентов, диалоговых системах, создания личных рекомендаций. Этот подход отличается своей гибкостью и высоким уровнем точности, что делает его привлекательным

#### Контекст **Область исследования**: Документные поисковые системы (Document Retrieval, DR) являются важной частью систем информационного поиска. Они предоставляют пользователям доступ к релевантным документам в ответ на запросы. **Проблемы**: Одна из главных проблем DR — нечувствительность к семантическим эквивалентным запросам. То есть, даже если запросы имеют одинаковый смысл, модели DR могут возвращать разные результаты. Это приводит к несогласованности в результатах поиска и снижению удобства использования. **Мотивация**: Эта проблема требует решения, так как согласованность в результатах поиска критична для пользовательского опыта и для профессионального применения в различных областях, таких как академический поиск, медицина, информационные системы юридической индустрии и др. #### Метод Мы предлагаем **новую версию Многонегативного Рейтингового Износа (Multi-Negative Ranking Loss, MNRL)** для обучения моделей DR. Наша потеря фокусируется на улучшении согласованности моделей в предъявлении результатов поиска для семантически эквивалентных запросов. Она оптимизируется таким образом, чтобы снизить дискретность в результатах запросов, которые имеют близкий значения смысловой структуры, но могут отличаться синтаксически. Технически, мы вводим дополнительный множественный терминовой контекст в обучение DR. Мы используем несколько негативных примеров для каждого запроса, чтобы сгладить несогласованность и обеспечить более консистентные результаты. Также вводится множественность семантической обработки, чтобы учесть различные способы интерпретации запроса. #### Результаты Мы провели эксперименты на широко известных датасетах: MS-MARCO, Natural Questions, BEIR и TREC DL 19/20. Модели, обученные нашей версией MNRL, показали улучшение в согласованности результатов до 15% по сравнению с оригинальным MNRL и другими существующими подходами. Кроме того, эти модели рекордировали **вышеупомянутую несомненную точность** в документном поиске. Это достигается благодаря уменьшению фактора несогласованности в выборе документов при семантических эквивалентных запросах. #### Значимость **Области применения**: Наш подход может использоваться в различных сферах, включая: - Информационный поиск в сети (Web Search). - Академический поиск (Academic Search). - Медицинский поиск (Medical Search). - Поиск юридических документов (Legal Document Search). **Преимущества**: Наша модель оказывается: - **Повышенной точностью** в поиске релевантных документов. - **Более устойчивой** к несогласованности в ответах на запросы. - **Гибкой** в применении к различным семантическим задачам. **Потенциальное влияние**: Это улучшение

Одной из основных проблем в области Retrieval Augmented Generation (RAG) является эксплуатация ложной информации (hallucination), которая может усиливаться при использовании множества источников знаний. MultiRAG — это новая архитектура, разработанная для решения этой проблемы. Она вводит два ключевых модуля: (1) **Module для построения знаний**, который использует multi-source line graphs для эффективного агрегации логических связей между различными источниками знаний, и (2) **Sophisticated retrieval module**, реализующий многоуровневую механику вычисления достоверности, которая оценивает объекты на уровне графа и узлов, чтобы идентифицировать и исключить недостоверные данные. Эксперименты на 4 многодоменных запросах и 2 многошаговых датасетах показали, что MultiRAG эффективно улучшает надежность и эффективность знаний в многоисточниковых сценариях, снижая эффекты hallucination. Наш код доступен по ссылке: https://github.com/wuwenlong123/MultiRAG.

Многовекторные подходы в нейронной оценке, вроде ColBERT, стали важной альтернативой одновекторным моделям в процессе поиска информации. Они удерживают отдельные токенные векторы и используют оператор MaxSim для вычисления сходства, что позволяет улучшить общую производительность, в частности в задачах с длинными контекстами и решении прикладных проблем. Однако, несмотря на эти преимущества, доступные инструменты для обучения и экспериментирования с многовекторными моделями остаются ограниченными. Для решения этой проблемы представлена PyLate — модульная библиотека, основанная на Sentence Transformers, которая обеспечивает простой доступ к многовекторной архитектуре. PyLate наследует удобные возможности Sentence Transformers, включая эффективный тренировочный процесс, замысловатый журналирование и генерацию модельных карточек. Благодаря PyLate модели, такие как GTE-ModernColBERT и Reason-ModernColBERT, показали свою эффективность в исследовательских и реальных приложениях. Таким образом, PyLate ускоряет развитие и применение многовекторных моделей в системах информационного поиска.

**Резюме** В этой работе предлагается ConvMix, новая методология для датуинга в области конверзационного поиска. Основная проблема, которую рассматривают авторы, заключается в нехватке данных для обучения моделей конверзационного поиска. Авторы предложили ConvMix — мультикритерийную систему датуинга, которая расширяет подходы, используемые ранее. За счет применения больших языковых моделей, фреймворк ConvMix позволяет расширить датасеты с помощью двустороннего апгрейда релятивизации, обеспечивая большую модельность в задаче и ряд механизмов качественного контроля, чтобы получить разнообразные и хорошо сбалансированные данные для обучения. Эксперименты проводились на пяти стандартных бенчмарках, показав, что модель, обученная с помощью ConvMix, существенно превосходит другие базовые модели по метрикам качества. Таким образом, ConvMix демонстрирует свою эффективность и значимость в решении проблемы нехватки данных в конверзационном поиске.

Огромный поток научных работ сделал их оценку на основе качества и значимости задачу, требующей новых подходов. Логическими и разумными они могут быть, но часто ограничены устаревшим доменным знанием или недостаточной способностью применять полное внимание к контексту. Работа предлагает PaperEval — фреймворк, основанный на Large Language Models, для автоматизированной оценки научных работ. Он включает модуль доменно-ориентированного восстановления, позволяющий получать свежую и актуальную информацию, и логическую модель для углубленного анализа мотивации, методики и сравнения с современной конкуренцией. Для точного определения существенных отличий вводится стратегия прогрессивной оптимизации рейтинга. PaperEval показал существенное превосходство на двух датасетах и применен в реальной системе рекомендации для фильтрации высококачественных работ. Он получил широкую популярность в социальных сетях, подтвердив свою практическую эффективность.

**Резюме** В статье рассматривается проблема эффективности мультимодальных рекомендательных систем, которые используют различные типы содержимого (например, текст и изображения) для повышения точности рекомендаций. Авторы задают вопрос: природа получаемого выигрыша заключается лишь в усложнении модели или в истинном понимании мультимодальности? Для разрешения этой проблемы предлагается использовать Large Vision-Language Models (LVLMs), которые генерируют эмбеддинги, разработанные специально для мультимодальных задач. Эти эмбеддинги обеспечивают семантическую целостность и взаимное выравнивание между модальностями без необходимости дополнительных стратегий объединения. Эксперименты показали, что LVLMs не только улучшают точность рекомендаций, но и демонстрируют способность создавать понятные для людей структурированные тексты, демонстрирующие мультимодальное понимание системы. Этот подход устанавливает новый акцент на семантические репрезентации в рекомендательных системах и демонстрирует перспективу LVLMs в качестве основы для создания более значимых и эффективных мультимодальных моделей.