SalesSim是由研究团队提出的一个全新框架与测试平台，旨在评估多模态大语言模型（MLLM）在零售环境中模拟真实、个性化用户行为的能力。与以往仅将用户模拟视为表层对话生成的研究不同，SalesSim将零售互动与决策过程建模为一个有依据的、基于代理的流程。在这个流程中，拥有不同背景、偏好和禁忌的购物者会与销售代理进行多轮交互，寻求澄清，并最终做出明智的购买决策。
为了评估模拟器的表现，研究人员设计了一套以决策对齐为核心的指标，用以衡量模拟器行为与其角色设定之间的一致性，同时评估对话质量。通过对包括GPT-4o和Gemini在内的6个领先开源和闭源模型进行基准测试，他们发现了若干关键差距：首先，尽管模型能够生成流畅的对话，但与人类对话相比，模型的词汇多样性显著较低，并且在不同的角色设置下过度披露判断标准；其次，模型容易受到销售代理建议的影响，从而偏离原有角色设定。即使表现最好的模型，其平均角色对齐度也不到79%。
为了解决这些局限性，研究团队提出了UserGRPO方法，这是一种多轮、多目标的强化学习策略，旨在同时优化对话流畅性和角色设定下的决策对齐。实验结果显示，UserGRPO将基线模型的决策对齐度提高了13.8%，同时提升了对话质量。通过SalesSim，研究团队为社区提供了一个新的测试工具，用于研究和改进目标导向场景中用户模拟器的角色遵循能力。该框架的发布有望推动多模态语言模型在零售、客服等商业场景中的更真实、更可控的应用。