SalesSimは、研究者らによって提案された新しいフレームワークとテストベッドであり、マルチモーダル大規模言語モデル（MLLM）が小売対話において現実的かつペルソナ駆動の顧客行動をシミュレートする能力を評価することを目的としています。従来の研究がユーザーシミュレーションを表面的な対話生成として扱っていたのに対し、SalesSimは小売のインタラクションと意思決定を、グラウンディングされたエージェントプロセスとしてモデル化します。ここでは、さまざまな背景、好み、絶対条件を持つ買い物客が販売エージェントと対話し、確認を求め、情報に基づいた購入判断を下します。
評価のために、研究チームはシミュレーターの行動とペルソナ仕様の一貫性（意思決定アライメント）と対話品質を測定する一連の指標を設計しました。GPT-4oやGeminiを含む6つの先端的なオープンソースおよびクローズドソースモデルをベンチマークした結果、以下のような行動のギャップが明らかになりました。まず、モデルは流暢な会話を生成できるものの、人間の会話と比べて語彙の多様性が著しく低く、ペルソナ間で判断基準を過剰に開示する傾向があります。次に、モデルは販売エージェントの提案に説得されやすく、ペルソナの仕様から逸脱しやすいことも判明しました。最も強力なモデルでも、ペルソナとの平均アライメントは79%未満でした。
これらの限界を克服するため、研究者らはUserGRPOを提案しました。これは、ペルソナ仕様の下で会話の流暢さと意思決定アライメントの両方を最適化する、マルチターン・マルチ目的の強化学習手法です。実験では、UserGRPOによりベースラインモデルの意思決定アライメントが13.8%向上し、会話品質も改善されました。SalesSimの導入により、コミュニティは目標指向の設定におけるユーザーシミュレーターのペルソナ遵守能力を調査・改善するための新しいテストベッドを手に入れました。このフレームワークは、小売やカスタマーサービスなどの商業シナリオにおける、よりリアルで制御可能なマルチモーダル言語モデルの応用を促進することが期待されています。