CAP-LLM: Context-Augmented Personalized Large Language Models for News Headline Generation
2508.03935v1
cs.CL
2025-08-09
Авторы:
Raymond Wilson, Cole Graham, Chase Carter, Zefeng Yang, Ruiqi Gu
Резюме на русском
**Резюме**
В условиях информационного избытка актуальной проблемой является создание персонализированных новостных заголовков, которые были бы точными с точки зрения фактической информации и соответствовали предпочтениям конечного пользователя. Основные проблемы нынешних подходов заключаются в слабых способностях перехватывать сложные интересы пользователей и поддерживать фактическую точность, что приводит к сгенерированным генирическим или неточным заголовкам. В статье предлагается CAP-LLM — новый подход, основанный на использовании мощных технологий Large Language Models (LLMs) и интегрирующий в себя модель предпочтений пользователя, адаптированный для улучшения генерируемых заголовков.
CAP-LLM включает в себя User Preference Encoder для понимания долгосрочных интересов пользователя, Context Injection Adapter для интеграции этих предпочтений и текстового контекста новостной статьи, а также Fact-Consistency Reinforcement Module для борьбы с затуханием фактической информации с помощью настроенного контрастивного потери. На реальном датасете PENS CAP-LLM достигает лучших результатов по всем метрикам, в том числе по фактической точности (FactCC 87.50) и персонализации (Pc(avg) 2.73, Pc(max) 17.25). Абляционные исследования и контрольные эксперименты подтверждают эффективность всех компонентов этой модели, демонстрируя ее способность достигать гармоничного баланса между персонализацией и точностью заголовков.
Abstract
In the era of information overload, personalized news headline generation is
crucial for engaging users by tailoring content to their preferences while
accurately conveying news facts. Existing methods struggle with effectively
capturing complex user interests and ensuring factual consistency, often
leading to generic or misleading headlines. Leveraging the unprecedented
capabilities of Large Language Models (LLMs) in text generation, we propose
Context-Augmented Personalized LLM (CAP-LLM), a novel framework that integrates
user preferences and factual consistency constraints into a powerful
pre-trained LLM backbone. CAP-LLM features a User Preference Encoder to capture
long-term user interests, a Context Injection Adapter to seamlessly integrate
these preferences and current article context into the LLM's generation
process, and a Fact-Consistency Reinforcement Module employing a novel
contrastive loss to mitigate hallucination. Evaluated on the real-world PENS
dataset, CAP-LLM achieves state-of-the-art performance across all metrics.
Notably, it significantly improves factual consistency (FactCC of 87.50) over
strong baselines like BART (86.67), while simultaneously enhancing
personalization (Pc(avg) 2.73, Pc(max) 17.25) and content coverage (ROUGE-1
26.55, ROUGE-2 9.95, ROUGE-L 23.01). Our ablation studies, human evaluations,
and sensitivity analyses further validate the effectiveness of each component
and the robustness of our approach, demonstrating CAP-LLM's ability to achieve
a superior balance between personalization and factual accuracy in news
headline generation.
Ссылки и действия
Дополнительные ресурсы: