对话式购物助手如今已服务数亿用户，但此前一直缺少一个能同时评估开放式多轮推理、领域专业知识和标准级质量的基准，而这些正是真实购物对话所要求的核心能力。来自 arXiv 的论文《Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants》填补了这一空白。该论文由 Shuxian Fan 等十位作者完成，于 2026 年 6 月 10 日提交，属于计算与语言（cs.CL）及机器学习（cs.LG）领域。
购物推理在语言模型应用中具有独特性。与事实性问答或可验证的代码生成不同，购物推理需要在多轮对话中平衡主观偏好、预算限制和跨产品权衡。这些能力在以往的电商基准和通用基准中均未得到体现。为此，研究团队推出了 Shopping Reasoning Bench，这是一个由专家编写的基准，包含 525 个购物任务，其中 232 个为单轮任务、293 个为多轮任务。每个任务都配有零售领域专家编写的评分标准，共计 10863 条重要性加权的二元评分项。
这些评分标准按照一套分类体系组织，涵盖五大推理类别和十五个子类别，涉及偏好细化、权衡分析、兼容性评估等多种需求。这种细粒度的标准级评估能够更精确地衡量模型在真实购物场景中的表现，而不仅仅是看最终答案是否正确。
研究团队对来自 GPT、Claude 和 Gemini 三个系列的九款模型进行了评估。结果显示，整体通过率仅达到 57% 至 77%，说明即使是最先进的模型也远未完美掌握购物推理。在多轮任务中，所有模型在可选的“额外加分”标准上的得分比必选标准低 13 至 29 分，并且随着对话轮次增加，性能下降 4 至 18 分。这些差距表明，当前模型能够处理基础的购物辅助，但距离专家级建议仍有明显不足。
Shopping Reasoning Bench 为未来购物助手的发展提供了一个具有挑战性的测试平台。随着对话式商务的普及，该基准有助于推动模型在复杂多轮推理和领域专业知识方面的进步。论文全文可通过 arXiv 获取，DOI 为 10.48550/arXiv.2606.12608。