跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

LLM 能否内省?一项现实检验

文章摘要

arXiv 论文重新审视了证明大型语言模型具有内省能力的两个评估范式,认为现有行为证据不足以得出该结论。

来源arXiv AI作者: Shashwat Singh, Tal Linzen, Shauli Ravfogel
LLM 能否内省?一项现实检验
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型能否察觉并报告自身的内部状态?这一问题近年来成为人工智能研究中的一个争议焦点。多篇论文曾给出肯定回答,认为模型具备某种形式的“内省”能力。然而,一篇发表于2026年5月25日、编号为arXiv:2605.26242v1的新论文《Can LLMs Introspect? A Reality Check》对此提出了系统性的质疑。作者为Shashwat Singh等三位研究者,论文归类于人工智能(cs.AI)方向。

论文的核心论点建立在人类元认知研究的经验之上。作者指出,在人类认知科学中,要确认一个人真的在“内省”,研究者必须严格区分真正的内省与基于表面线索的模式匹配。仅仅观察到受试者说出某些关于自身状态的话,并不足以证明其具备对内部状态的直接访问能力。作者进一步强调,仅凭行为层面的证据,在原则上就不足以支撑强意义上的内省主张——这一点同样适用于大型语言模型。

为检验现有结论,作者重新审视了两个近期提出的评测范式。第一个范式要求模型检测自身的内部状态是否遭到篡改。研究发现,模型无法可靠地区分“对内部状态的干预”与“对输入内容的操纵”。换言之,模型在原始研究中表现出的成功,更可能反映的是一种泛化的异常检测能力,而非针对自身内部状态的专门监控。

第二个范式要求模型预测由其自身隐藏状态导出的标签。作者发现,仅能访问输入信息的分类器,其表现与模型自身的上下文内预测相当。这说明原始结果并不能确证模型对自身内部表征拥有特权访问。为进一步验证,作者设计了一个重新标注的对照设置:在该设置中,模型无法依赖任务的语义来求解,而必须真正依赖内部表征。结果,模型在这一控制更严格的版本中表现接近随机水平。

综合两项范式的重新检验,作者得出结论:当前证据尚不足以证明大型语言模型具备元认知监控能力。论文同时提醒研究社区,在评估模型“自我认识”时,需要更严谨的实验设计与更清晰的概念区分,否则容易将表面行为误读为深层认知能力。该论文提交于2026年5月25日18:07:49 UTC,全文约25MB,可通过arXiv获取PDF、实验性HTML及TeX源文件。

展开要点与分析

文章情报

投资人进阶

要点

  • 两个最近的内省评估范式均存在混淆因素:模型可能依赖表面线索而非内部状态。
  • 在第一个范式中,模型无法区分内部状态干预与输入操纵。
  • 在第二个范式中,仅访问输入的分类器性能与模型自身的预测相当。
  • 在更受控的重新标记设定下,模型表现接近随机水平。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。