ConvApparel：衡量并弥合用户模拟器中的真实感差距

谷歌研究院的研究人员近日发布了ConvApparel，这是一个全新的人机对话数据集及综合评估框架，旨在量化基于大型语言模型（LLM）的用户模拟器中的“真实感差距”，并提升鲁棒对话代理的训练效果。现代对话AI代理通常能处理复杂的多轮任务，如询问澄清性问题或主动提供帮助，但在长时间交互中常出现遗忘约束或生成无关回应等问题。依赖真人测试虽为“金标准”，但成本高昂且难以规模化。因此，研究社区转向LLM驱动的用户模拟器，但现有模拟器存在真实感差距，表现出不切实际的耐心或百科全书式的知识。ConvApparel通过独特的双代理数据收集协议来解决这一问题：参与者被随机分配至一个乐于助人的“好”代理或一个故意不合作的“坏”代理。数据集包含超过4000次多轮对话，近15000轮次，并提供了逐轮标注，记录了用户的满意度、挫败感等内部状态。评估框架基于三个支柱：人口统计对齐，检查模拟对话与真实对话在长度、用词等聚合统计上的匹配程度；人类相似度评分，训练自动判别器区分真实与合成对话，输出“人类度”概率；反事实验证，将仅在“好”代理上训练的模拟器与“坏”代理交互，测试其是否如人类般表现出挫败感。实验中，研究人员比较了三种模拟器：提示基础、上下文学习（ICL）和监督微调（SFT）。结果表明，数据驱动方法（ICL和SFT）在统计对齐上优于提示基础，且在反事实验证中展现出更强的适应性，但所有模拟器仍能被判别器识别为合成，真实感差距依然显著。ConvApparel为社区提供了量化并缩小真实感差距的工具。未来工作将聚焦于利用高保真模拟器从头训练对话代理，并衡量其真实世界性能，以确定所需的人类相似度程度。