跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

立场:大语言模型中的不确定性量化只是无监督聚类

文章摘要

一篇被ICML 2026立场论文轨道接收的论文指出,当前主流的大语言模型不确定性量化方法本质上只是无监督聚类算法,只能衡量模型生成内容的内部一致性而非外部正确性,因此无法检测“自信的幻觉”。作者呼吁该领域进行范式转变。

来源arXiv Computational Linguistics作者: Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei
立场:大语言模型中的不确定性量化只是无监督聚类
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering》的立场论文在arXiv上线(编号arXiv:2605.19220v1),作者为Tiejin Chen等四人,该论文已被ICML 2026立场论文赛道接收。文章对当前大语言模型(LLM)不确定性量化(UQ)研究提出了尖锐批评,认为主流方法存在范畴错误:它们本质上只是无监督聚类算法,而非真正衡量模型输出正确性的工具。

论文指出,不确定性量化长期被视为在高风险领域部署大语言模型的首要安全保障。然而作者认为,现有大多数UQ方法实际量化的是模型生成内容之间的内部一致性,而非其与外部事实的符合程度。换言之,这些方法衡量的是模型“是否稳定地给出相似答案”,而不是“答案是否正确”。因此,当前方法在根本上看不到事实真相,也无法识别所谓“自信的幻觉”——即模型对稳定但错误的答案表现出高置信度。作者警告,这种缺陷可能在实际部署中制造虚假的安全感,让使用者误以为模型已具备可靠的不确定性判断能力。

为支撑这一论点,论文详细归纳了依赖模型内部状态所导致的三大病理。第一是超参数敏感危机:UQ方法的效果高度依赖超参数设置,微小调整即可显著改变不确定性估计,从而使部署变得不安全。第二是内部评估循环:评估过程以模型自身的一致性为基准,把稳定性误当作真实性,形成自我强化的闭环。第三是根本性的真实标签缺失:由于缺乏客观真值,研究者只能依赖不稳定的代理指标来评估不确定性方法本身,评估结果难以令人信服。

针对这一僵局,作者呼吁UQ研究进行范式转变,并为研究社区勾勒了路线图:采用更好的评估指标与实验设置,推动模型机制层面的改造以实现原生不确定性表达,并将验证锚定于客观事实,从而使模型置信度真正成为现实的可靠代理。论文提交于2026年5月19日,属于计算与语言(cs.CL)领域,同时涉及人工智能与机器学习方向。

展开要点与分析

文章情报

工程师进阶

要点

  • 主流UQ方法存在范畴错误:它们实际上是无监督聚类,量化的是内部一致性而非外部正确性。
  • 这些方法对事实真相视而不见,无法检测模型对稳定但错误答案表现出高置信度的“自信幻觉”。
  • 论文指出三大病理:超参数敏感性危机、内部评估循环混淆稳定性与真实性、缺乏基准真相导致依赖不稳定的代理指标。
  • 作者提出路线图:采用更好的评估指标和设置、实现原生不确定性的机制变革、将验证锚定在客观真相上。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。