SalesSim是由研究團隊提出的一個全新框架與測試平臺，旨在評估多模態大語言模型（MLLM）在零售環境中模擬真實、個性化使用者行為的能力。與以往僅將使用者模擬視為表層對話生成的研究不同，SalesSim將零售互動與決策過程建模為一個有依據的、基於代理的流程。在這個流程中，擁有不同背景、偏好和禁忌的購物者會與銷售代理進行多輪互動，尋求澄清，並最終做出明智的購買決策。
為了評估模擬器的表現，研究人員設計了一套以決策對齊為核心的指標，用以衡量模擬器行為與其角色設定之間的一致性，同時評估對話質量。透過對包括GPT-4o和Gemini在內的6個領先開源和閉源模型進行基準測試，他們發現了若干關鍵差距：首先，儘管模型能夠生成流暢的對話，但與人類對話相比，模型的詞彙多樣性顯著較低，並且在不同的角色設定下過度披露判斷標準；其次，模型容易受到銷售代理建議的影響，從而偏離原有角色設定。即使表現最好的模型，其平均角色對齊度也不到79%。
為了解決這些侷限性，研究團隊提出了UserGRPO方法，這是一種多輪、多目標的強化學習策略，旨在同時最佳化對話流暢性和角色設定下的決策對齊。實驗結果顯示，UserGRPO將基線模型的決策對齊度提高了13.8%，同時提升了對話質量。透過SalesSim，研究團隊為社群提供了一個新的測試工具，用於研究和改進目標導向場景中使用者模擬器的角色遵循能力。該框架的釋出有望推動多模態語言模型在零售、客服等商業場景中的更真實、更可控的應用。