LLM-Enhanced Linear Autoencoders for Recommendation
2508.13500v1
cs.IR, cs.AI, cs.CL, cs.LG
2025-08-21
Авторы:
Jaewan Moon, Seongmin Park, Jongwuk Lee
Резюме на русском
## Контекст
Интеллектуальные рекомендательные системы (IRS) широко используются для поиска и предоставления полезной информации пользователям на основе их предпочтений и поведенческих моделей. Одним из главных факторов успеха IRS является качественная система оценки рекомендаций, которая должна учитывать не только поведенческие сигналы, но и семантические свойства представленных итемов. Несмотря на развитие технологий для обработки текстовых данных, существующие решения для IRS часто сталкиваются с проблемами, такими как ограниченная способность понимать глубокие семантические отношения между товарами или учет контекста в пользовательских предпочтениях. Эти ограничения приводят к неточным рекомендациям и низкому удовлетворению пользователей.
## Метод
Предлагаемый подход, L3AE (LLM-Enhanced Linear Autoencoders), представляет собой инновационное сочетание бо LLM и обычных линейных автокодировщиков. Метод состоит из двух этапов. В первой фазе L3AE использует модель LLM для построения семантического матрицы взаимосвязей между товарами на основе их текстовых описаний. Во второй фазе L3AE учитывает пользовательские интеракции с товарами, учитывая предыдущую семантическую информацию для оптимизации системы рекомендаций. Особенностью L3AE является то, что каждый из этих этапов оптимизируется с помощью замкнутых формул, что позволяет достичь глобальной оптимальности с минимальными вычислительными затратами.
## Результаты
Эксперименты были проведены на трех различных бенчмарк-датасетах. Использовались метрики Recall@20 и NDCG@20 для оценки качества рекомендаций. Результаты показали, что L3AE показал значительное преимущество перед существующими моделями, с увеличением Recall@20 на 27.6% и NDCG@20 на 39.3%. Эти результаты демонстрируют эффективность L3AE в улучшении качества рекомендаций, особенно в задачах, требующих точного учета семантических отношений между товарами.
## Значимость
L3AE может быть применен в различных областях, где необходимо учитывать текстовую информацию при рекомендациях, таких как электронная коммерция, медиасервисы и социальные сети. Особым преимуществом является его способность объединить семантическую информацию с пользовательскими интеракциями, что приводит к более точным и смысловым рекомендациям. Это может повысить удовлетворение пользователей и увеличить активность на платформах, где эти рекомендации используются.
## Выводы
L3AE представляет собой новую платформу для повышения эффективности IRS, особенно в сферах, где текстовые данные играют ключевую роль. Он показал свою эффективность в улучшении качества
Abstract
Large language models (LLMs) have been widely adopted to enrich the semantic
representation of textual item information in recommender systems. However,
existing linear autoencoders (LAEs) that incorporate textual information rely
on sparse word co-occurrence patterns, limiting their ability to capture rich
textual semantics. To address this, we propose L3AE, the first integration of
LLMs into the LAE framework. L3AE effectively integrates the heterogeneous
knowledge of textual semantics and user-item interactions through a two-phase
optimization strategy. (i) L3AE first constructs a semantic item-to-item
correlation matrix from LLM-derived item representations. (ii) It then learns
an item-to-item weight matrix from collaborative signals while distilling
semantic item correlations as regularization. Notably, each phase of L3AE is
optimized through closed-form solutions, ensuring global optimality and
computational efficiency. Extensive experiments demonstrate that L3AE
consistently outperforms state-of-the-art LLM-enhanced models on three
benchmark datasets, achieving gains of 27.6% in Recall@20 and 39.3% in NDCG@20.
The source code is available at https://github.com/jaewan7599/L3AE_CIKM2025.