Equip Pre-ranking with Target Attention by Residual Quantization
2509.16931v1
cs.IR, cs.AI, cs.LG, I.2.0; I.5.0; I.7.0
2025-09-24
Авторы:
Yutong Li, Yu Zhu, Yichen Qiao, Ziyu Guan, Lv Shao, Tong Liu, Bo Zheng
Резюме на русском
#### Контекст
Pre-ranking является критическим этапом в индустриальных системах рекомендаций, так как определяет качество дальнейших рекомендаций. Однако существует существенное противоречие между эффективностью и точностью в этой стадии. Точные модели, такие как Target Attention (TA), могут хорошо подстроиться под сложные интерфейсы, но их высокая стоимость вычислений делает их неприменимыми для пре-ранкинга. Это приводит к снижению качества и меньшему значению пользователю.
#### Метод
TARQ — новая модель пре-ранкинга, основанная на резидентном отображении, которая приближает моделирование к TA. Основная идея заключается в использовании детерминированного генеративного подхода для эмуляции сложного взаимодействия признаков. За счет эффективного вычислительного упрощения и адаптивной архитектуры, TARQ эффективно применяет целевую аттенцию в пре-ранкинге, улучшая точность без значительного увеличения затрат.
#### Результаты
TARQ был испытан на больших данных системы Taobao. Он прошел не только оффлайн-эксперименты, но и большой скоростью симулируемого пре-ранкинга в онлайне. Результаты показали значительный прирост точности и эффективности, превосходя существующие модели.
#### Значимость
TARQ может применяться в различных системах рекомендаций, где существует необходимость совмещения точности и скорости. Он позволяет улучшить качество рекомендаций за счет эффективного использования ресурсов. Это ведет к повышению удовлетворенности пользователей и повышению производительности системы в целом.
#### Выводы
TARQ достигает нового состояния точности и эффективности в пре-ранкинге. Наша модель уже действует в реальности, служит миллионам пользователей и показывает существенный бизнес-прогресс. Будущие исследования будут направлены на углубление понимания и улучшение методологии TARQ.
Abstract
The pre-ranking stage in industrial recommendation systems faces a
fundamental conflict between efficiency and effectiveness. While powerful
models like Target Attention (TA) excel at capturing complex feature
interactions in the ranking stage, their high computational cost makes them
infeasible for pre-ranking, which often relies on simplistic vector-product
models. This disparity creates a significant performance bottleneck for the
entire system. To bridge this gap, we propose TARQ, a novel pre-ranking
framework. Inspired by generative models, TARQ's key innovation is to equip
pre-ranking with an architecture approximate to TA by Residual Quantization.
This allows us to bring the modeling power of TA into the latency-critical
pre-ranking stage for the first time, establishing a new state-of-the-art
trade-off between accuracy and efficiency. Extensive offline experiments and
large-scale online A/B tests at Taobao demonstrate TARQ's significant
improvements in ranking performance. Consequently, our model has been fully
deployed in production, serving tens of millions of daily active users and
yielding substantial business improvements.