対話型ショッピングアシスタントは現在数億人の顧客にサービスを提供しているが、実際のショッピング会話が求めるオープンエンドなマルチターン推論、ドメイン専門知識、基準レベルの品質を同時に評価するベンチマークはこれまで存在しなかった。arXivの論文「Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants」はこの空白を埋めるものである。本論文はShuxian Fan氏ら10名の著者によって執筆され、2026年6月10日に投稿された。計算と言語（cs.CL）および機械学習（cs.LG）の領域に属する。
ショッピング推論は言語モデル応用の中でも独特である。事実に基づく質問応答や検証可能なコード生成とは異なり、マルチターン対話を通じて主観的な好み、予算制約、製品間のトレードオフのバランスを取る必要がある。こうした能力は従来のeコマースベンチマークや汎用ベンチマークでは捉えられていなかった。そこで研究チームは、専門家が作成したベンチマーク「Shopping Reasoning Bench」を導入した。これは525のショッピングミッション（単一ターン232、マルチターン293）を含み、小売ドメインの専門家が作成した10,863の重要度加重二値ルーブリックを備えている。
これらの評価基準は5つの推論カテゴリと15のサブカテゴリからなる分類体系の下に組織され、好みの絞り込み、トレードオフ分析、互換性評価など多様な要求をカバーしている。この細粒度の基準レベル評価により、最終回答が正しいかどうかだけでなく、実際のショッピング場面でのモデルの振る舞いをより正確に測定できる。
研究チームはGPT、Claude、Geminiの3ファミリーにわたる9モデルを評価した。その結果、全体の合格率はわずか57～77%にとどまり、最先端モデルでもショッピング推論を完全に習得しているとは言えないことが示された。マルチターンミッションでは、すべてのモデルがオプションの「追加努力」基準のスコアが必要基準より13～29ポイント低く、会話のターンが進むにつれて性能が4～18ポイント低下した。これらのギャップは、現行モデルが基本的なショッピング支援を処理できても、専門家レベルの助言には明らかに及ばないことを示している。
Shopping Reasoning Benchは、将来のショッピングアシスタント開発に向けた困難なテストベッドを提供する。対話型コマースが普及する中、本ベンチマークは複雑なマルチターン推論とドメイン専門知識の進歩を促すだろう。論文の全文はarXivで入手可能で、DOIは10.48550/arXiv.2606.12608である。