HLLM-Creator: Hierarchical LLM-based Personalized Creative Generation
2508.18118v1
cs.IR, cs.CL
2025-08-27
Авторы:
Junyi Chen, Lu Chi, Siliang Xu, Shiwei Ran, Bingyue Peng, Zehuan Yuan
Резюме на русском
## Контекст
AI-generated content (AIGC) технологии широко применяются в создании контента, но существуют значительные ограничения в генерировании пользовательно-индивидуальной контента. Реальные проблемы включают недостаточную модель представления пользовательских интересов и их интеграцию в процесс генерации, а также недостаток фактической консистентности в созданном контенте. В приложениях, таких как онлайн-реклама, один и тот же продукт может иметь множество продающихся особенностей, а разные пользователи могут обратить внимание на разные черты. Это продемонстрировано значительным потенциалом персонализированной, пользовательно-центрированной генерации контента. Основные проблемы, с которыми сталкиваются эти технологии, включают оптимальное моделирование пользовательских интересов, эффективность и масштабируемость для обработки больших пользовательских баз, а также скромность в готовых данных для обучения моделей.
## Метод
HLLM-Creator представляет собой новую архитектуру на основе гибернархического текстового генератора (LLM). Она использует подход к моделированию пользовательских интересов через кластеризацию пользователей и стратегию целевого подбора пользователей и объявлений. Цикл цепочки-мысли организует построение информативных и фактически точных названий созданных контентов. Основная цель архитектуры — сочетать эффективность и точность в моделировании пользовательских интересов с генерацией содержательных и фактически точных результатов. Таким образом, HLLM-Creator может использоваться для эффективной генерации текстов, ориентированных на пользователя, в промышленных масштабах.
## Результаты
Исследования проводились на собственном датасете под названием Douyin Search Ads. Модель была протестирована на задаче генерации персонализированных названий для рекламных объявлений. Экспериментальные результаты показали, что HLLM-Creator превосходит текущие модели по метрикам качества и эффективности генерации. Особенно была заметна повышенная точность в соответствии с пользовательскими интересами и уменьшение расходов ресурсов за счет применения стратегии центрального подбора пользователей и объявлений. Анализ А/B-тестов показал увеличение эффективности рекламных объявлений на 0.476%, что демонстрирует практическую значимость модели в реальных промышленных сценариях.
## Значимость
HLLM-Creator широко применимо в сферах онлайн-рекламы, создания контента и поисковых систем. Он предлагает существенные преимущества, включая улучшенную точность моделирования пользовательских интересов, эффективность в масштабных приложениях и высоку
Abstract
AI-generated content technologies are widely used in content creation.
However, current AIGC systems rely heavily on creators' inspiration, rarely
generating truly user-personalized content. In real-world applications such as
online advertising, a single product may have multiple selling points, with
different users focusing on different features. This underscores the
significant value of personalized, user-centric creative generation. Effective
personalized content generation faces two main challenges: (1) accurately
modeling user interests and integrating them into the content generation
process while adhering to factual constraints, and (2) ensuring high efficiency
and scalability to handle the massive user base in industrial scenarios.
Additionally, the scarcity of personalized creative data in practice
complicates model training, making data construction another key hurdle. We
propose HLLM-Creator, a hierarchical LLM framework for efficient user interest
modeling and personalized content generation. During inference, a combination
of user clustering and a user-ad-matching-prediction based pruning strategy is
employed to significantly enhance generation efficiency and reduce
computational overhead, making the approach suitable for large-scale
deployment. Moreover, we design a data construction pipeline based on
chain-of-thought reasoning, which generates high-quality, user-specific
creative titles and ensures factual consistency despite limited personalized
data. This pipeline serves as a critical foundation for the effectiveness of
our model. Extensive experiments on personalized title generation for Douyin
Search Ads show the effectiveness of HLLM-Creator. Online A/B test shows a
0.476% increase on Adss, paving the way for more effective and efficient
personalized generation in industrial scenarios. Codes for academic dataset are
available at https://github.com/bytedance/HLLM.
Ссылки и действия
Дополнительные ресурсы: