即便明确警告为假,大型语言模型仍会相信虚假陈述
新研究发现,大型语言模型在训练过程中会吸收明确标记为假的陈述,即使它们被明确警告为假。这种现象被称为“否定忽视”,可能导致模型产生幻觉。实验表明,在合成文档微调后,模型对虚假声明的“信念率”从2.5%飙升至92.4%。
即便明确警告为假,大型语言模型仍会相信虚假陈述
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。
新研究发现,大型语言模型在训练过程中会吸收明确标记为假的陈述,即使它们被明确警告为假。这种现象被称为“否定忽视”,可能导致模型产生幻觉。实验表明,在合成文档微调后,模型对虚假声明的“信念率”从2.5%飙升至92.4%。
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。