AI News HubLIVE
站内改写1 分钟阅读

超越专家用户:智能体应帮助用户构建偏好,而非仅挖掘偏好

传统智能体假设用户具有明确偏好,但现实中用户常缺乏领域知识。本文提出CoPref模型与CoShop基准,发现前沿模型在5轮交互后准确率不超过56%,失败原因在于未能帮助用户扩展对自身需求的认识。

来源arXiv AI作者: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

近年来,人工智能智能体(如推荐系统)通常假设用户是“专家用户”,即拥有明确且成形的偏好。当任务描述不完整时,这类智能体会默认通过追问来澄清需求。然而,一项新研究指出这一假设并不现实。用户往往缺乏足够的领域知识来形成完整的偏好;当被问及对某个特征的偏好时,如果没有智能体帮助学习必要的知识(例如通过示例或解释),用户可能根本无法回答。

为了形式化这一原则,研究人员借鉴信息经济学中的“搜索-体验-信任”框架,提出了CoPref模型。该模型描述了用户如何基于智能体的对话行为构建偏好。CoPref将用户偏好分为三类:搜索品(可事先评估)、体验品(需使用后评估)和信任品(即使使用后也难以评估)。通过这一分类,智能体可以识别用户缺乏知识的环节,并主动提供信息。例如,当用户对某种产品的技术参数不熟悉时,智能体可以提供对比示例来帮助理解。

在此基础上,研究团队构建了名为CoShop的交互式基准测试。在CoShop中,智能体需要与遵循CoPref模型的用户对话并提供推荐。智能体的表现取决于它能否帮助用户获得准确描述任务所需的知识。实验评估了五种前沿模型(如GPT-4、Claude等),结果发现没有任何模型在五轮交互后准确率超过56%。进一步分析表明,失败并非源于智能体搜索物品的能力,而是因为交互过程未能有效扩展用户对自身需求的认知。智能体往往过于依赖用户的初始表述,而没有主动提供教育性信息。

这项研究对AI系统设计具有重要启示:未来的智能体不应仅仅被动地询问用户偏好,而应主动帮助用户构建和发现偏好。通过提供领域知识、示例和对比,智能体可以降低用户的认知负担,从而做出更精准的推荐。论文作者强调,真正的个性化服务需要从“挖掘偏好”转向“构建偏好”。这一转变对于医疗、金融等专业领域尤为重要,因为用户往往缺乏关键概念知识。