Generating Query-Relevant Document Summaries via Reinforcement Learning
2508.08404v1
cs.IR, cs.AI, cs.LG
2025-08-14
Авторы:
Nitin Yadav, Changsung Kang, Hongwei Shang, Ming Sun
Резюме на русском
## Контекст
В e-commerce системах, поисковые модели часто опираются только на продуктные названия для оценки релевантности поисковых запросов. Такой подход ограничен, так как названия часто недостаточно информативны для точного понимания пользовательского запроса. Также, размерность и длительность продуктных описаний не позволяют использовать их в реальном времени для моделей ранжирования, которые требуют высокой производительности. Эти проблемы приводят к недостаточной точности релевантности. Наша мотивация заключается в создании эффективного и сжатого представления продуктных описаний, которое может быть использовано в реальном времени для улучшения поисковой релевантности.
## Метод
Мы предлагаем ReLSum — рам框курентный фреймворк основанный на reinforcement learning (RL). Он использует модель третнего поколения широковещательной модели (LLM) для создания сжатых, относительных к запросу сводных текстов на основе описаний продуктов. Эти сводки подаются на вход кросс-энкодерной модели ранжирования. Метрики релевантности используются в качестве награды для обучения RL, чтобы выравнивать цели описания и оценки. Архитектура ReLSum включает в себя выделение ключевых фрагментов, генерацию описательных сводок и их оценку в контексте поискового запроса.
## Результаты
Мы провели эксперименты на данных, содержащим продуктные описания и поисковые запросы. Результаты показали, что ReLSum превосходит современные подходы в offline метриках, таких как Recall@k и NDCG@k. Он также улучшил online метрики, включая клики и время на странице. Эти результаты подтверждают эффективность ReLSum в повышении релевантности поиска и повышении пользовательского заинтересованности.
## Значимость
Приложение ReLSum может быть широко применено в e-commerce системах, системах поиска и рекомендаций. Его основные преимущества заключаются в более точных оценках релевантности, высокой производительности и стабильности. Будущие исследования будут направлены на улучшение моделей LLM для более точного сжатия и добиваться более высокого качества сводных текстов.
## Выводы
ReLSum — это изобретательный подход для генерирования сводных текстов, который обеспечивает лучший trade-off между эффективностью и точностью. Наши результаты демонстрируют значительные улучшения в поисковой релевантности и пользовательском опыте в e-commerce. Мы планируем продолжить работу над улучшением моделей и оценки их на практике.
Abstract
E-commerce search engines often rely solely on product titles as input for
ranking models with latency constraints. However, this approach can result in
suboptimal relevance predictions, as product titles often lack sufficient
detail to capture query intent. While product descriptions provide richer
information, their verbosity and length make them unsuitable for real-time
ranking, particularly for computationally expensive architectures like
cross-encoder ranking models. To address this challenge, we propose ReLSum, a
novel reinforcement learning framework designed to generate concise,
query-relevant summaries of product descriptions optimized for search
relevance. ReLSum leverages relevance scores as rewards to align the objectives
of summarization and ranking, effectively overcoming limitations of prior
methods, such as misaligned learning targets. The framework employs a trainable
large language model (LLM) to produce summaries, which are then used as input
for a cross-encoder ranking model. Experimental results demonstrate significant
improvements in offline metrics, including recall and NDCG, as well as online
user engagement metrics. ReLSum provides a scalable and efficient solution for
enhancing search relevance in large-scale e-commerce systems.
Ссылки и действия
Дополнительные ресурсы: