Equip Pre-ranking with Target Attention by Residual Quantization

2509.16931v1 cs.IR, cs.AI, cs.LG, I.2.0; I.5.0; I.7.0 2025-09-24
Авторы:

Yutong Li, Yu Zhu, Yichen Qiao, Ziyu Guan, Lv Shao, Tong Liu, Bo Zheng

Резюме на русском

#### Контекст Pre-ranking является критическим этапом в индустриальных системах рекомендаций, так как определяет качество дальнейших рекомендаций. Однако существует существенное противоречие между эффективностью и точностью в этой стадии. Точные модели, такие как Target Attention (TA), могут хорошо подстроиться под сложные интерфейсы, но их высокая стоимость вычислений делает их неприменимыми для пре-ранкинга. Это приводит к снижению качества и меньшему значению пользователю. #### Метод TARQ — новая модель пре-ранкинга, основанная на резидентном отображении, которая приближает моделирование к TA. Основная идея заключается в использовании детерминированного генеративного подхода для эмуляции сложного взаимодействия признаков. За счет эффективного вычислительного упрощения и адаптивной архитектуры, TARQ эффективно применяет целевую аттенцию в пре-ранкинге, улучшая точность без значительного увеличения затрат. #### Результаты TARQ был испытан на больших данных системы Taobao. Он прошел не только оффлайн-эксперименты, но и большой скоростью симулируемого пре-ранкинга в онлайне. Результаты показали значительный прирост точности и эффективности, превосходя существующие модели. #### Значимость TARQ может применяться в различных системах рекомендаций, где существует необходимость совмещения точности и скорости. Он позволяет улучшить качество рекомендаций за счет эффективного использования ресурсов. Это ведет к повышению удовлетворенности пользователей и повышению производительности системы в целом. #### Выводы TARQ достигает нового состояния точности и эффективности в пре-ранкинге. Наша модель уже действует в реальности, служит миллионам пользователей и показывает существенный бизнес-прогресс. Будущие исследования будут направлены на углубление понимания и улучшение методологии TARQ.

Abstract

The pre-ranking stage in industrial recommendation systems faces a fundamental conflict between efficiency and effectiveness. While powerful models like Target Attention (TA) excel at capturing complex feature interactions in the ranking stage, their high computational cost makes them infeasible for pre-ranking, which often relies on simplistic vector-product models. This disparity creates a significant performance bottleneck for the entire system. To bridge this gap, we propose TARQ, a novel pre-ranking framework. Inspired by generative models, TARQ's key innovation is to equip pre-ranking with an architecture approximate to TA by Residual Quantization. This allows us to bring the modeling power of TA into the latency-critical pre-ranking stage for the first time, establishing a new state-of-the-art trade-off between accuracy and efficiency. Extensive offline experiments and large-scale online A/B tests at Taobao demonstrate TARQ's significant improvements in ranking performance. Consequently, our model has been fully deployed in production, serving tens of millions of daily active users and yielding substantial business improvements.

Ссылки и действия

Связанные статьи

Equip Pre-ranking with Target Attention by Residual Quantization

## Контекст Одна из основных задач промышленных систем рекомендаций — достичь баланса между эффективностью и эффективнос...

2025-09-25