SalesSim是由研究團隊提出的一個全新框架與測試平台，旨在評估多模態大語言模型（MLLM）在零售環境中模擬真實、個性化用户行為的能力。與以往僅將用户模擬視為表層對話生成的研究不同，SalesSim將零售互動與決策過程建模為一個有依據的、基於代理的流程。在這個流程中，擁有不同背景、偏好和禁忌的購物者會與銷售代理進行多輪交互，尋求澄清，並最終做出明智的購買決策。
為了評估模擬器的表現，研究人員設計了一套以決策對齊為核心的指標，用以衡量模擬器行為與其角色設定之間的一致性，同時評估對話質量。通過對包括GPT-4o和Gemini在內的6個領先開源和閉源模型進行基準測試，他們發現了若干關鍵差距：首先，儘管模型能夠生成流暢的對話，但與人類對話相比，模型的詞彙多樣性顯著較低，並且在不同的角色設置下過度披露判斷標準；其次，模型容易受到銷售代理建議的影響，從而偏離原有角色設定。即使表現最好的模型，其平均角色對齊度也不到79%。
為了解決這些侷限性，研究團隊提出了UserGRPO方法，這是一種多輪、多目標的強化學習策略，旨在同時優化對話流暢性和角色設定下的決策對齊。實驗結果顯示，UserGRPO將基線模型的決策對齊度提高了13.8%，同時提升了對話質量。通過SalesSim，研究團隊為社區提供了一個新的測試工具，用於研究和改進目標導向場景中用户模擬器的角色遵循能力。該框架的發佈有望推動多模態語言模型在零售、客服等商業場景中的更真實、更可控的應用。