智能体系统通常默认其服务对象是“专家用户”——即对自身需求有清晰、完整偏好的用户。当任务描述不充分时,这类系统往往直接抛出澄清性问题,要求用户补充偏好。但一篇新近提交至 arXiv 的论文指出,这一假设并不现实。作者 Irena Saracay 等人在论文《Beyond expert users: agents should help users construct preferences, not just elicit them》中论证,许多用户其实缺乏足够的领域知识来形成完全明确的偏好;当被问及某个功能或属性的偏好时,用户可能根本不知道如何回答,除非智能体先通过示例、解释等方式帮助其学习必要的领域知识,从而形成偏好。
为了形式化这一观点,研究者借鉴信息经济学中的 Search-Experience-Credence 框架,提出了 CoPref 模型,用以描述用户如何在与智能体的对话中逐步构建偏好。该模型强调,智能体的对话行为——如提供示例、解释选项差异、引导用户探索——会直接影响用户偏好形成的过程。基于这一模型,研究团队进一步在智能体推荐系统场景中开展了具体研究,并提出了交互式基准 CoShop。在 CoShop 中,智能体需要与一个符合 CoPref 模型的用户进行多轮对话,并据此做出推荐。智能体的表现取决于它能否帮助用户获得足够的知识,从而清晰地指定任务目标。
研究团队评估了五个前沿模型在 CoShop 上的表现,结果显示,即便经过五轮交互,也没有任何一个智能体的准确率超过 56%。值得注意的是,失败的主要原因并非智能体找不到合适的物品,而在于交互过程对用户“知道自己想要什么”的扩展非常有限。换言之,当前智能体擅长检索和匹配,却不擅长通过对话帮助用户澄清、丰富和构建偏好。这一发现对智能体交互设计提出了重要挑战:未来的系统不应仅仅被动地“引导”用户表达已有偏好,而应主动承担教育性角色,通过解释和示例帮助用户形成更清晰的偏好,从而提升任务完成的准确性和用户体验。