ShoppingBench: A Real-World Intent-Grounded Shopping Benchmark for LLM-based Agents
2508.04266v1
cs.CL
2025-08-09
Авторы:
Jiangyuan Wang, Kejun Xiao, Qi Sun, Huaipeng Zhao, Tao Luo, Jiandong Zhang, Xiaoyi Zeng
Резюме на русском
**ShoppingBench: Новая Метрика для Искусственных Агентов в Электронной Коммерции**
Проблема: Текущие бенчмарки в электронной коммерции ограничиваются простыми пользовательскими запросами, например, поиском или покупкой товаров. Но реальные пользователи часто сталкиваются с сложными задачами, такими как использование купонов, управление бюджетом и поиск продуктов у многотоварных продавцов.
Решение: Мы предлагаем ShoppingBench — новую целостную метрику, охватывающую различные уровни грундированных пользовательских интентов. Для этого разработана система, которая моделирует пользовательские инструкции на основе реальных продуктов. У нас есть большая симуляционная среда с более чем 2,5 миллионами продуктов, на которой проводились эксперименты.
Основные выводы: Даже самые современные языковые модели (например, GPT-4.1) достигают успешности менее 50% на наших задачах, показывая сложность задач в ShoppingBench. Мы также предложили стратегию дистилляции знаний из большой модели в меньшую, что позволило достичь результатов, сравнимых с GPT-4.1. Это демонстрирует возможность лучшего использования ресурсов в AI.
Abstract
Existing benchmarks in e-commerce primarily focus on basic user intents, such
as finding or purchasing products. However, real-world users often pursue more
complex goals, such as applying vouchers, managing budgets, and finding
multi-products seller. To bridge this gap, we propose ShoppingBench, a novel
end-to-end shopping benchmark designed to encompass increasingly challenging
levels of grounded intent. Specifically, we propose a scalable framework to
simulate user instructions based on various intents derived from sampled
real-world products. To facilitate consistent and reliable evaluations, we
provide a large-scale shopping sandbox that serves as an interactive simulated
environment, incorporating over 2.5 million real-world products. Experimental
results demonstrate that even state-of-the-art language agents (such as
GPT-4.1) achieve absolute success rates under 50% on our benchmark tasks,
highlighting the significant challenges posed by our ShoppingBench. In
addition, we propose a trajectory distillation strategy and leverage supervised
fine-tuning, along with reinforcement learning on synthetic trajectories, to
distill the capabilities of a large language agent into a smaller one. As a
result, our trained agent achieves competitive performance compared to GPT-4.1.
Ссылки и действия
Дополнительные ресурсы: