Selection and Exploitation of High-Quality Knowledge from Large Language Models for Recommendation
2508.07223v1
cs.IR, cs.AI
2025-08-13
Авторы:
Guanchen Wang, Mingming Ha, Tianbao Ma, Linxun Chen, Zhaojie Liu, Guorui Zhou, Kun Gai
Резюме на русском
#### Контекст
Современные рекомендательные системы сталкиваются с ограничениями при определении пользовательских предпочтений и предложении подходящих рекомендаций. Одной из важных задач является интеграция дополнительного знания, чтобы улучшить точность рекомендаций. В этом контексте, большие языковые модели (LLMs) становятся полезными источниками знаний. Однако, применение данных от LLMs непосредственно в рекомендательных моделях часто приводит к проблемам, таким как генерация неточных сведений (hallucination), дублирование контента или повторение информации (content redundancy), а также снижению разнообразия рекомендаций (information homogenization). Необходимо разработать методы, которые позволят выборочно использовать высококачественные знания из LLMs, чтобы повысить эффективность рекомендательных систем.
#### Метод
Предлагается **Knowledge Selection & Exploitation Recommendation (KSER)** фреймворк, который состоит из двух основных модулей. **Модуль фильтрации знаний (Knowledge Filtering Module)** использует Embedding Selection Filter Network (ESFNet) для присвоения адаптивных весов различным кусочкам знаний в различных областях знаний. **Модуль выравнивания пространств эмбеддингов (Embedding Spaces Alignment Module)** применяет архитектуру на основе внимания (attention-based) для выравнивания семантических эмбеддингов, полученных от LLMs, с пространством признаков, используемым в рекомендательных моделях. Это методология позволяет повысить качество рекомендаций, обеспечивая выборку и эффективное использование высококачественных знаний.
#### Результаты
В экспериментах были изучены различные данные, включая рекомендательные задачи с разными наборами данных. Метод KSER показал существенные повышения показателей качества рекомендаций по сравнению с базовой моделью. Наборы данных, использованные в экспериментах, были включены в различные сценарии применения. Результаты подтвердили то, что модули фильтрации и выравнивания знаний не только улучшают точность, но и обеспечивают разнообразие рекомендаций.
#### Значимость
Предлагаемый подход имеет широкие практические применения в рекомендательных системах, поисковых системах, и других областях, где необходимо оперировать высококачественным знанием. Он позволяет улучшить качество рекомендаций, обеспечив точность и разнообразие, а также обеспечивает увеличение его полезности в различных случаях. Кроме того, данный подход может стать основой для будущих исследований в области знаний в рекомендательных системах.
#### Выводы
Результаты экспериментов подтвердили эффективность KSER-фреймворка в выборе и использовании высококачественных знаний из LLMs. Он демонстрирует значительное повышение эффективности рекомендательных моделей и может быть применен в различных сферах. Будущие исследования будут сосредоточены на улучшении
Abstract
In recent years, there has been growing interest in leveraging the impressive
generalization capabilities and reasoning ability of large language models
(LLMs) to improve the performance of recommenders. With this operation,
recommenders can access and learn the additional world knowledge and reasoning
information via LLMs. However, in general, for different users and items, the
world knowledge derived from LLMs suffers from issues of hallucination, content
redundant, and information homogenization. Directly feeding the generated
response embeddings into the recommendation model can lead to unavoidable
performance deterioration. To address these challenges, we propose a Knowledge
Selection \& Exploitation Recommendation (KSER) framework, which effectively
select and extracts the high-quality knowledge from LLMs. The framework
consists of two key components: a knowledge filtering module and a embedding
spaces alignment module. In the knowledge filtering module, a Embedding
Selection Filter Network (ESFNet) is designed to assign adaptive weights to
different knowledge chunks in different knowledge fields. In the space
alignment module, an attention-based architecture is proposed to align the
semantic embeddings from LLMs with the feature space used to train the
recommendation models. In addition, two training
strategies--\textbf{all-parameters training} and \textbf{extractor-only
training}--are proposed to flexibly adapt to different downstream tasks and
application scenarios, where the extractor-only training strategy offers a
novel perspective on knowledge-augmented recommendation. Experimental results
validate the necessity and effectiveness of both the knowledge filtering and
alignment modules, and further demonstrate the efficiency and effectiveness of
the extractor-only training strategy.
Ссылки и действия
Дополнительные ресурсы: