Multi-Faceted Large Embedding Tables for Pinterest Ads Ranking

## Контекст В современных рекомендательных системах большие таблицы обработки входных данных (embedding tables) играют ключевую роль, позволяя эффективно запоминать интересные характеристики взаимодействий между различными субъектами. В Pinterest Ads, где рекомендательная система играет важную роль в подборе рекламных материалов, были определены ряд сложностей при использовании таких таблиц. Например, проблемы с пропусками (sparsity) и масштабированием стали существенными зданиями для нашего анализа. Также, попытки создать и обучить такие таблицы начиная с нуля привели к незначительным изменениям в основных метриках, таких как CTR (Click-Through Rate) и CVR (Conversion Rate). Эти ограничения привели к разработке продвинутых технических решений, включающих в себя многообразие подходов к предобучению (pretraining) для улучшения качества обработки входных данных. ## Метод Мы разработали многогранный подход к предобучению (multi-faceted pretraining) для больших таблиц обработки входных данных, который включает в себя несколько методов предобучения. Основная мотивация заключалась в том, чтобы улучшить качество предобучения, чтобы обеспечить эффективную обработку данных в рекомендательных системах. Наша архитектура включает гибридную систему обслуживания (CPU-GPU), позволяющую преодолеть ограничения памяти GPU. Мы также применяли продвинутые техники для работы с пропусками (sparsity), чтобы улучшить обработку данных в рекомендательных системах. Эти техники позволили нам создать уникальный подход к обработке данных в Pinterest Ads, который позволил повысить качество рекомендаций и уменьшить затраты на рекламу. ## Результаты Мы провели ряд экспериментов, используя разные данные и методы. В результате, мы заметили, что наш подход позволил повысить CTR на 2.60%, а CVR на 1.34%, при этом не изменяя общую задержку (end-to-end latency). Данные результаты подтверждают эффективность нашего многогранного подхода к предобучению, который позволяет повысить качество рекомендаций в рекомендательных системах, в то же время сохраняя эффективность и масштабируемость. Эти положительные результаты были получены благодаря нашему гибридному серверу, который удалось преодолеть ограничения памяти GPU и повысить масштабируемость. ## Значимость Многогранный подход к предобучению таблиц обработки входных данных имеет широкие возможности для применения в различных рекомендательных системах. Он позволяет улучшить качество рекомендаций и повысить эффективность обработки данных, что может привести к повышению конверсии и снижению затрат в рекламной области. Этот подход также имеет потенциал для применения в других сферах, где требуется эффективная обработка и анализ данных. Этот достижение демон