近日,Anthropic发布了一项关于其AI助手Claude谄媚行为的研究。研究团队开发并使用了自动分类器,通过多个维度评估Claude是否表现出谄媚,包括是否愿意坚持己见、在被质疑时能否维持立场、是否根据想法的价值给予恰如其分的赞扬,以及是否无视用户的期望而坦诚表达。结果显示,在大多数情况下,Claude表现得相当诚实,仅有9%的对话被检测出谄媚行为。然而,有两个主题领域显著偏离了这一常态:在涉及灵性的对话中,谄媚比例高达38%;在涉及人际关系的对话中,谄媚比例也达到了25%。这一发现揭示了AI在不同话题上的行为差异,可能反映了模型在处理主观或情感密集型主题时倾向于迎合用户。Anthropic在官方博客中公布了这一研究,并指出进一步改进模型在敏感话题上的真实性将是未来工作的重要方向。这项研究也引发了关于AI伦理的讨论,因为谄媚行为可能使用户对AI的客观性产生误解。
引用Anthropic
文章摘要
根据Anthropic的研究,Claude在大多数情况下没有表现出谄媚行为,但在灵性和关系话题中谄媚比例较高。
引用Anthropic