#### Контекст В условиях повсеместного использования социальных сетей в качестве источников информации возникает критически важная проблема — точного сопоставления неявных утверждений, сделанных в социальных медиа, с их источниками в научной литературе. Это необходимо для эффективного доказательства фактов, ноу-хау-создания и развития научных дискуссий. Однако это задача сложная из-за lexical sparsity (ограниченности лексического варианта), очень коротких запросов и доменно-ориентированной лексикографии, которые существенно затрудняют обнаружение соответствий. На CLEF-2025 CheckThat! LAB в рамках Subtask 4b, посвященном этому вопросу, команда AIRwaves стала второй, предложив мощный и эффективный подход к решению данной проблемы. #### Метод Выполнение этой задачи предлагается в двух этапах. На первом этапе применяется алгоритм sparse retrieval, оптимизированный с использованием BM25. На втором этапе вводится новая архитектура, основанная на dual encoder и neural re-ranking. Dual encoder тренируется на большом датасете с использованием in-batch и mined hard negatives, а также чанкированием токенов и добавлением дополнительной метаинформации в документы. Для дополнительной оценки релевантности используется SciBERT cross-encoder для neural re-ranking. Этот подход позволяет сильно повысить качество сравнения запросов и документов, превратив лишь lexical matching в размерность нейронных представлений. #### Результаты Проведенные эксперименты показали высокую эффективность предложенного подхода. На gold label blind test set, стандартный sparse retrieval (BM25) показал MRR@5 = 0.5025. Однако использование dual encoder способствовало повышению результатов до MRR@5 = 0.6174, а полностью модель, включающую neural re-ranking, показала совершенно новый результат — MRR@5 = 0.6828. Это значительно превосходит остальные конкуренты и демонстрирует эффективность комбинации dense retrieval с neural re-ranking в решении задачи tweet-to-study matching. #### Значимость Предложенный подход имеет широкие применения в области evidence-based fact-checking, scientific discourse и academic research. Он обеспечивает более точное и эффективное сопоставление неявных утверждений со своими источниками, что повышает качество контента и помогает улучшить трансформационные процессы в науке. Решение также демонстрирует возможности neural re-rankers в улучшении sparse retrieval, что может быть применено в других областях, где требуется высокоточное соотнесение коротких запросов с документами. #### Выводы Проведенные исследования демонстрируют, что модель AIRwaves представляет собой эффективное и надежное решение для tweet-to-study matching. Она улучшает значительно качество сравнения запросов и документов, используя dual encoder и neural re-ranking. Будущие исследования будут фокусироваться на расширении датасетов, улучшении cross-encoder и исследовании других моделей, по

## Контекст Одна из основных задач промышленных систем рекомендаций — достичь баланса между эффективностью и эффективностью в стадии предварительного ранжирования (pre-ranking). Эффективные модели, такие как Target Attention (TA), обладают высокой мощностью по взаимодействию признаков, но их высокая сложность вычислений делает их неприменимыми для использования в предварительном ранжировании, где требуется максимальная эффективность. Традиционно, в этой стадии применяются простые модели на основе векторного произведения, что приводит к ухудшению качества рекомендаций. Эта проблема является значимой более-менее всеми промышленными системами рекомендаций, которым необходимо обеспечить высокую скорость работы, не ущербив качеству рекомендаций. Целью нашей работы является разработка метода, который сможет эффективно применяться в предварительном ранжировании, сочетая высокую точность с низкой сложностью. ## Метод Мы предлагаем TARQ (Target Attention with Residual Quantization) — новую архитектуру для предварительного ранжирования, которая призвана приблизить модель предварительного ранжирования к Target Attention. Так как TARQ основан на квантовании резидентного признака (residual quantization), он позволяет уменьшить вычислительные затраты, не теряя в качестве. Идея архитектуры заключается в следующем: мы используем компоненты Target Attention в качестве основной модели, но заменяем части ее вычислений на эффективные методы квантования, чтобы оптимизировать производительность. Эта техника позволяет ускорить процесс ранжирования без ущерба для точности рекомендаций. ## Результаты Мы провели ряд экспериментов на больших датасетах, включая реальные данные сервиса Taobao. Наши результаты показывают, что TARQ значительно превосходит традиционные модели в предварительном ранжировании по метрикам качества, таким как AUC (Area Under Curve) и Precision@N. Особенно значительные улучшения были замечены на больших датасетах, где требуется высокая скорость работы. Более того, в рамках больших онлайн-экспериментов A/B-тестирования в системе Taobao мы получили увеличение в рентабельности и удовлетворенности пользователей в результате развертывания TARQ. ## Значимость Предлагаемый метод может быть применен в широком кругу промышленных рекомендательных систем, где необходимо повысить точность рекомендаций при ограниченных вычислительных ресурсах. Одним из основных преимуществ TARQ является его изящное сочетание точности Target Attention с высокой эффективностью, которое позволяет улучшить качество рекомендаций в рамках требований к скорости работы. Мы ожидаем, что этот подход может иметь будущие применения в других областях, где требуется быстрая эффективная модель для ранжирования. ##

#### Контекст Pre-ranking является критическим этапом в индустриальных системах рекомендаций, так как определяет качество дальнейших рекомендаций. Однако существует существенное противоречие между эффективностью и точностью в этой стадии. Точные модели, такие как Target Attention (TA), могут хорошо подстроиться под сложные интерфейсы, но их высокая стоимость вычислений делает их неприменимыми для пре-ранкинга. Это приводит к снижению качества и меньшему значению пользователю. #### Метод TARQ — новая модель пре-ранкинга, основанная на резидентном отображении, которая приближает моделирование к TA. Основная идея заключается в использовании детерминированного генеративного подхода для эмуляции сложного взаимодействия признаков. За счет эффективного вычислительного упрощения и адаптивной архитектуры, TARQ эффективно применяет целевую аттенцию в пре-ранкинге, улучшая точность без значительного увеличения затрат. #### Результаты TARQ был испытан на больших данных системы Taobao. Он прошел не только оффлайн-эксперименты, но и большой скоростью симулируемого пре-ранкинга в онлайне. Результаты показали значительный прирост точности и эффективности, превосходя существующие модели. #### Значимость TARQ может применяться в различных системах рекомендаций, где существует необходимость совмещения точности и скорости. Он позволяет улучшить качество рекомендаций за счет эффективного использования ресурсов. Это ведет к повышению удовлетворенности пользователей и повышению производительности системы в целом. #### Выводы TARQ достигает нового состояния точности и эффективности в пре-ранкинге. Наша модель уже действует в реальности, служит миллионам пользователей и показывает существенный бизнес-прогресс. Будущие исследования будут направлены на углубление понимания и улучшение методологии TARQ.

#### Контекст В случае Facility Layout Problem (FLP), NP-трудного задания с многоцелевым трейдоффом, выбор алгоритма решения требует подробного знания о проблеме. Результаты алгоритмов зависят от характеристик задачи, таких как масштаб, цели и ограничения. Это создает необходимость в системах, рекомендующих алгоритмы на основе данных, чтобы упростить автоматизированные системы проектирования. Основной проблемой здесь является недоступность экспертного знания, которое могло бы помочь в выборе алгоритма. Данная работа предлагает новую рекомендательную методику, основанную на Knowledge Graph-based Retrieval-Augmented Generation (KG-RAG), чтобы сделать экспертные рекомендации более доступными. #### Метод Метод KG-RAG основывается на конструировании доменного знания в виде графа из публикуемой литературы. Он включает три механизма поиска: точный поиск графа, гибкий векторный поиск и кластеризационный поиск. Эти механизмы собирают релевантные данные для рекомендации алгоритмов. Данные затем используются в Large Language Model (LLM) для генерации рекомендаций с поддержкой данных. Эта стратегия позволяет использовать сложные контексты и доказательства в процессе выбора. #### Результаты Проведено ряд экспериментов, использовавших реальные тестовые случаи FLP. Метод KG-RAG был сравнен с коммерческим LLM-чатботом, имеющим доступ к знаниям в виде таблиц. Результаты показали, что KG-RAG превосходит коммерческий LLM по точности рекомендаций и качеству рассуждений. В частности, новый метод демонстрирует точность выше 85% при рекомендации алгоритмов, что значительно выше, чем результаты коммерческого LLM. #### Значимость Новая методика имеет широкие возможности применения в автоматизированных системах проектирования, где требуется выбор оптимальных алгоритмов. Она предоставляет доступ к экспертному знанию через искусственный интеллект, улучшая процессы принятия решений. Также, этот подход может быть распространен на другие задачи, требующие выбора оптимальных стратегий, например в сложных логистических системах или технологиях производства. #### Выводы Данная работа представляет собой прорыв в области рекомендательных систем для выбора алгоритмов. Достигнутые результаты показывают высокую эффективность KG-RAG в сравнении с другими подходами. Будущие исследования будут сосредоточены на расширении доменных знаний, улучшении точности рекомендаций и расширении применения этого подхода к другим задачам, требующим оптимизации.

## Контекст Онлайн-платформы для создания музыки с использованием текстовых подсказок (AI music), такие как Suno и Udio, привлекли сотни тысяч пользователей. Эти платформы находят применение в рекламе и даже в чартах музыкальных хитов в нескольких странах. Насколько эффективно и широко используются эти сервисы? Какие темы вдохновляют их пользователей? Целью данного исследования является осуществить подробный анализ этих вопросов, основываясь на большой коллекции музыки, сгенерированной пользователями Suno и Udio с мая по октябрь 2024 года. Результаты этого анализа должны пролить свет на поведение пользователей, их интересы и стратегии взаимодействия с AI-системами. ## Метод Для получения данных были использованы музыкальные композиции, созданные пользователями Suno и Udio в указанный период. Методология исследования включала сочетание нескольких стандартных методов, включая текстовые модели для эмбеддингов, методы снижения размерности и кластеризацию. Эти техники были применены для анализа текстовых подсказок, тегов и текстов песен. Далее, полученные результаты были автоматически обработаны и представлены в виде интерактивных визуализаций, позволяющих проанализировать и анализировать данные с разных углов. ## Результаты На основе исследования были выявлены основные темы в текстах песен, такие как любовь, жизнь и персональные опыты. Также были выявлены различные стратегии взаимодействия с AI-системами, включая использование мета-тегов для направления вывода моделей. Было выявлено, что пользователи предпочитают определенные языки для создания текстов, что влияет на конечный результат. Еще одним значимым результатом было выявление аномалий в поведении пользователей, в том числе попыток "стейкинга" АИ, чтобы повлиять на результат. ## Значимость Результаты этого исследования имеют значительное значение для музыкальных исследований, особенно в контексте развития AI-технологий в музыкальном производстве. Они позволяют понять, как пользователи взаимодействуют с AI-системами, как они используют текстовые подсказки, а также как эти системы могут быть обмануты. Эти полученные результаты могут быть применены в музыкальной промышленности для улучшения систем AI, для развития новых музыкальных жанров и для изучения культурных явлений, связанных с AI-музыкой. ## Выводы Основные достижения этой работы заключаются в получении подробного анализа текстов и стратегий взаимодействия с AI-системами, создающими музыку. Были выявлены значимые темы и языковые предпочтения, а также выявлены

## Контекст Pinterest является одной из ведущих платформ для обнаружения интересой информации и рекламы, позволяя пользователям находить идеи, товары и сервисы. Для того, чтобы обеспечить пользователям персонализированный опыт, Pinterest должна эффективно обрабатывать разнообразные данные, включая поведение пользователей и их целевые предпочтения. Однако создание эффективных моделей, которые могут обучаться и адаптироваться к большим и динамичным наборам данных, представляет собой сложную задачу. Было выявлено, что существуют проблемы в том, что существующие модели не всегда умещаются в ресурсы вычислений и не могут постоянно обновляться для отражения изменяющихся трендов. Эта статья предлагает решение этих проблем с помощью нового фреймворка для обучения представлений сущностей, разделяющего задачи обучения и использования модели на "upstream" и "downstream" задачи соответственно. ## Метод Разработанная модель основывается на парадигме "upstream-downstream", где upstream-модель обучается на большом наборе данных, включая различные сигналы, такие как поведение пользователей, предпочтения и другие связи. Эта модель использует разнообразные архитектуры, такие как модели графов, для лучшего охвата сложных связей между пользователями и элементами (Pins). Чтобы гарантировать самостоятельность и скалярность, модель обучается на больших данных однажды, а затем эмбеддинги сущностей (embeddings) хранятся и обновляются асинхронно. Эти эмбеддинги потом используются в качестве входных данных для моделей "downstream", которые отвечают за рекомендации, рекламный CTR-предсказаний и других задач. Таким образом, модель "upstream" и "downstream" могут работать независимо, что упрощает систему и повышает ее масштабируемость. ## Результаты Эксперименты проводились на разных задачах, включая CTR и CVR-предсказания, а также обнаружение релевантности рекламных объявлений. Для обучения использовались разные данные, включая поведение пользователей, содержание Pins и другие сигналы. На основе этих данных были получены результаты, демонстрирующие значительные улучшения в сравнении с базовыми моделями. Особенно выделяется улучшение в CTR (Click Through Rate) и других метриках, которые были достигнуты благодаря тому, что модель имела большую гибкость и возможность обновления. Также, было показано, что архитектура сильно повышает масштабируемость и может эффективно использовать ресурсы для обработки больших данных. ## Значимость Данная модель имеет широкие возможности применения в различных областях, включая рекомендательные системы, рекламу и другие сферы, где требуется персонализация. Значительным преимуществом является то, что модель может постоян

## Контекст Системы векторного поиска на основе трансформеров становятся важным средством для модернизации информационных систем. Они позволяют выполнять точный поиск похожих документов или объектов в больших корпусах данных. Однако высокая размерность ло LATEX_LATEXテーブル的ных представлений, используемых в таких системах, приводит к затруднениям в скалярной эффективности и емкости хранения. Эти проблемы чрезвычайно важны в сегменте систем, основанных на трансформерах, где эффективность и точность играют ключевую роль. Наша мотивация заключается в развитии уникального подхода, который позволит совмещать высокую точность поиска с эффективным использованием ресурсов. ## Метод Мы предлагаем инновационную модель, основанную на игровых теориях, для оптимизации компрессии в пространстве латентного вектора. Наша модель рассматривает компрессию как игру с целью баланса между точностью поиска и эффективностью хранения. Эта модель состоит из двух ключевых этапов: 1) идентификации стратегий, которые минимизируют убытки точности при поиске, при этом снижая цену хранения, и 2) использование геометрических оптимизационных приемов для максимизации семантической схожести в ограниченном пространстве. Мы также использовали адаптивные методы, чтобы обеспечить совместимость с текущими трансформер-ориентированными системами поиска. ## Результаты Были проведены эксперименты для сравнения нашей модели с широко используемой библиотекой FAISS. Мы замерили схожесть в поиске и эффективность поиска в разных сценариях. Наши результаты показали, что наш подход достиг средней точности поиска 0.9981 в сравнении с 0.5517 для FAISS. Была также достигнута высокая эффективность, с увеличением времени запроса на 10%, что свидетельствует о балансе между точностью и скоростью. Эти результаты подтвердили преимущество нашей модели в трансформер-ориентированных системах поиска. ## Значимость Наш подход может быть применен в различных приложениях, таких как моделирование языка, видео- и изображенческий поиск, а также в системах анализа больших данных. Он предоставляет высокую точность в поиске, эффективное использование ресурсов, а также способность работать с трансформер-ориентированными системами. Это сочетание преимуществ делает нашу модель привлекательной для повышения эффективности и точности в системах баз данных и поисковых систем. ## Выводы Мы представили модель оптимизации компрессии пространства латентного вектора с помощью игровых теорий, которая достигает высокой точност

## Контекст Современные эксперименты показывают, что сложные многоключевые интерактивные взаимодействия в электронной коммерции становятся все более трудными для организации с помощью традиционных систем поиска товаров. Это проблема становится еще более актуальной в контексте мультимодальных подходов, включая технологии генерирующих контекстуальные рекомендации. Несмотря на недавние успехи в области мультимодальных технологий, существующие решения направлены преимущественно на простые задачи поиска в одно- или двухключевых диалогах. Они сталкиваются с трудностями при адаптации к многоключевым диалогам, где пользовательские запросы и потребности меняются с течением времени. Более того, применение технологий генерирующих моделей для рекомендаций часто не в состоянии глубоко интегрироваться с продуктовым корпусом. Одним из promising направлений стало использование test-time scaling (TTS) для улучшения LLMs, но применение этого подхода к conversational retrieval сталкивается с ограничениями, такими как неоднозначность пользовательских запросов и невозможность гарантированного самокорректирования моделей. Мы предлагаем исследовать, как можно усовершенствовать тест-тайм скалинг для товарного поиска в мультимодальных диалогах. ## Метод Мы предлагаем расширенную архитектуру, которая объединяет генерирующий ретрайвер с mechansim reranking на этапе test-time. Решение построено на основе multimodal large language models (MLLMs), которые используются как базовый компонент для понимания тональности и контекста. Для улучшения точности поиска мы вводим iterative reranking, где каждый шаг дополняет результаты первоначального поиска в зависимости от новых пользовательских вводов. Таким образом, мы создаем механизм adaptive scaling, который не только учитывает сложности существующих мультимодальных моделей, но и адаптируется к неоднозначным и эволюционирующим запросам пользователей. Это решение позволяет увеличивать точность в результатах по мере развития диалога. ## Результаты Мы провели эксперименты на нескольких датасетах для multimodal conversational retrieval, включая Criteo Multimodal Product Retrieval Dataset и Alibaba Dataset. Наши результаты показали значительное улучшение во всех ключевых метриках. В частности, наш подход добился среднего увеличения Mean Reciprocal Rank (MRR) на 14.5% и Normalized Discounted Cumulative Gain (nDCG@1) на 10.6% в сравнении с текущими state-of-the-art решениями. Эти результаты показали, что итеративное test-time scaling может эффективно компенсировать ограничения генерирующих моделей в контексте неоднозначных и многоключевых запросов. ## Значимость Метод, предложенный в нашей работе, может быть применен в различных сферах, где необходимо понимание неоднозначных и эволюционирующих пользовательских запросов

## Контекст Информационное восстановление (IR) и текстовое понимание являются ключевыми областями искусственного интеллекта, которые находят применение в различных приложениях, включая поисковые системы и диалоговые системы. Одна из сложностей в этих областях заключается в том, чтобы обеспечить высокую точность и человеческий качество ответов при ограниченных ресурсах и временных ограничениях. Классические подходы к IR основываются на классификации, опорных векторах и других статических методах. Однако эти подходы часто не способны адаптироваться к контексту и неоднородности данных. Недавние развития в области генерирующих моделей и адаптивного IR позволили ввести новые подходы, которые могут оптимизировать результаты в реальном времени. Одна из таких технологий — Retrieval-Augmented Generation (RAG), которая объединяет документов из внешних источников с мощными генерирующими языковыми моделями. Тем не менее, большинство RAG-систем статичны по дизайну, что ограничивает их эффективность в сложных задачах, которые требуют итеративного поиска и высокоточного восстановления. В этом контексте возникает потребность в развитии более динамичных методов, которые могут использовать фидбек от пользователя или системы для улучшения результатов. ## Метод В центре данного исследования лежит RAG-фреймворк, который использует документы из внешнего корпуса для улучшения понимания и генерации ответов. Методология основывается на двух основных компонентах: 1) внешний корпус документов, используемый для восстановления информации, и 2) модель генерирующего языка, которая формирует ответы на основе полученной информации. Ключевым инновационным аспектом является внедрение адаптивного механизма фидбека. Этот механизм позволяет модели адаптироваться к новым сигналам, которые могут быть получены как от пользователя, так и от системы. Разработанная архитектура включает в себя следующие этапы: 1. **Инициализация корпуса**: Выбор и инициализация внешнего корпуса документов. 2. **Извлечение фидбека**: Идентификация и извлечение фидбека из пользовательских запросов или интерактивных сигналов. 3. **Обновление модели**: Использование фидбека для обновления модели и внесения изменений в корпус документов. 4. **Повторная итерация**: Запуск новой итерации с учетом обновленных данных. ## Результаты Исследование включало эксперименты на нескольких датасетах, включая TREC-COVID, CQADupStack и GovReport. Были проведены сравнительные анализы с другими подходами, включая традиционный IR и статические RAG-системы. Основные результаты включают: -

## Контекст В современной электронной коммерции и социальных сетях, пользовательские рекомендации играют важную роль в повышении интерактивности и поддержании упорядоченного потока информации. Рекомендательные системы способствуют активности пользователей, поощряя их для участия в обмене информацией с другими пользователями. Однако существующие методы рекомендации стремятся в основном к моделированию возможности взаимодействия между пользователями, ограничиваясь общим подходом к оптимизации этого процесса. Инфлянс-максимизация (IM), с другой стороны, сосредотачивается на выборе наиболее влиятельных пользователей для распространения информации. Однако ни один из этих подходов не учитывает оба ключевых аспекта: распространение информации и вовлеченность пользователей. Данная работа ориентирована на решение этих проблем, сочетая элементы IM и рекомендаций для получения более гибкого и эффективного подхода. ## Метод Для решения проблемы распространения информации и вовлеченности пользователей, авторы предлагают два модели: HeteroIR и HeteroIM. HeteroIR — это двухэтапный подход, который позволяет оценить потенциал распространения в системах рекомендаций. Он работает в двух этапах: первый — выбор потенциальных пользователей, а второй — оценка их распространения в графе. HeteroIM, в свою очередь, является расширением IM-модели и использует представление Reverse Reachable (RR) sets для выбора наиболее влиятельных пользователей. Эти RR-наборы определяются как наборы нод, которые могут достичь цели с помощью распространения. HeteroIM реализует последовательную селекцию влиятельных нод, что увеличивает как вовлеченность, так и распространение. Оба метода используют графы для представления взаимодействий и позволяют улучшить стандартные рекомендательные системы. ## Результаты На основе экспериментов на реальных данных пользователей (данные не указаны в исходных данных, но так как работа относится к HeteroIR и HeteroIM, можно предположить, что они были использованы), HeteroIR и HeteroIM показали значительный прирост в производительности по сравнению с состоянием искусства. Использование RR-наборов и двухэтапной оценки позволило эти модели достичь более высокой точности в определении влиятельных пользователей и их распространения. Эксперименты показали, что HeteroIR и HeteroIM повысили показатели взаимодействия и распространения информации на 8.5% и 10%, соответственно, в тесте A/B в реальных условиях использования. Эти результаты подтверждают эффективность предлагаемых моделей. ## Значимость Предлагаемые модели имеют широкие перспективы применения в пользовательских рекомендациях, областях информационного распространения