Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
2508.02929v2
cs.IR, cs.AI, cs.LG, 68T05, 68T07, 68T30, H.3.3; I.2.6
2025-08-09
Авторы:
Dai Li, Kevin Course, Wei Li, Hongwei Li, Jie Hua, Yiqi Chen, Zhao Zhu, Rui Jian, Xuan Cao, Bi Xue, Yu Shi, Jing Qian, Kai Ren, Matt Ma, Qunshu Zhang, Rui Li
Резюме на русском
**Резюме**
Современные рекомендательные системы сталкиваются с значительными вызовами при масштабировании моделей, включая необходимость учитывать структуру потоковых данных, адаптироваться к различным рекомендательным поверхностям и соблюдать жесткие ограничения по задержке и вычислительной сложности. Для решения этих проблем предлагается **Foundation-Expert Paradigm**, ориентированная на развитие и развертывание масштабных моделей рекомендаций. Центральная модель обучается на кросс-сурфасной, мультимодальной данной для извлечения общей значимости, которая потом эффективно передается "экспертным" моделям, специально подготовленным для конкретных поверхностей и задач рекомендаций. Это решение реализовано в системе HyperCast, которая перерабатывает тренировку, развертывание и логирование, при этом сохраняя высокую производительность. Исследования показали, что данная модель улучшает онлайнные показатели и эффективность развертывания, являясь первым успешным примером такого подхода на масштабе Meta, предлагая эффективный и практичный метод для реализации сценариев масштабирования в рекомендательных системах.
Abstract
While scaling laws promise significant performance gains for recommender
systems, efficiently deploying hyperscale models remains a major unsolved
challenge. In contrast to fields where FMs are already widely adopted such as
natural language processing and computer vision, progress in recommender
systems is hindered by unique challenges including the need to learn from
online streaming data under shifting data distributions, the need to adapt to
different recommendation surfaces with a wide diversity in their downstream
tasks and their input distributions, and stringent latency and computational
constraints. To bridge this gap, we propose to leverage the Foundation-Expert
Paradigm: a framework designed for the development and deployment of hyperscale
recommendation FMs. In our approach, a central FM is trained on lifelong,
cross-surface, multi-modal user data to learn generalizable knowledge. This
knowledge is then efficiently transferred to various lightweight,
surface-specific "expert" models via target-aware embeddings, allowing them to
adapt to local data distributions and optimization goals with minimal overhead.
To meet our training, inference and development needs, we built HyperCast, a
production-grade infrastructure system that re-engineers training, serving,
logging and iteration to power this decoupled paradigm. Our approach is now
deployed at Meta serving tens of billions of user requests daily, demonstrating
online metric improvements over our previous one-stage production system while
improving developer velocity and maintaining infrastructure efficiency. To the
best of our knowledge, this work represents the first successful deployment of
a Foundation-Expert paradigm at this scale, offering a proven,
compute-efficient, and developer-friendly blueprint to realize the promise of
scaling laws in recommender systems.