近日,一篇题为《Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering》的立场论文在arXiv上线(编号arXiv:2605.19220v1),作者为Tiejin Chen等四人,该论文已被ICML 2026立场论文赛道接收。文章对当前大语言模型(LLM)不确定性量化(UQ)研究提出了尖锐批评,认为主流方法存在范畴错误:它们本质上只是无监督聚类算法,而非真正衡量模型输出正确性的工具。
论文指出,不确定性量化长期被视为在高风险领域部署大语言模型的首要安全保障。然而作者认为,现有大多数UQ方法实际量化的是模型生成内容之间的内部一致性,而非其与外部事实的符合程度。换言之,这些方法衡量的是模型“是否稳定地给出相似答案”,而不是“答案是否正确”。因此,当前方法在根本上看不到事实真相,也无法识别所谓“自信的幻觉”——即模型对稳定但错误的答案表现出高置信度。作者警告,这种缺陷可能在实际部署中制造虚假的安全感,让使用者误以为模型已具备可靠的不确定性判断能力。
为支撑这一论点,论文详细归纳了依赖模型内部状态所导致的三大病理。第一是超参数敏感危机:UQ方法的效果高度依赖超参数设置,微小调整即可显著改变不确定性估计,从而使部署变得不安全。第二是内部评估循环:评估过程以模型自身的一致性为基准,把稳定性误当作真实性,形成自我强化的闭环。第三是根本性的真实标签缺失:由于缺乏客观真值,研究者只能依赖不稳定的代理指标来评估不确定性方法本身,评估结果难以令人信服。
针对这一僵局,作者呼吁UQ研究进行范式转变,并为研究社区勾勒了路线图:采用更好的评估指标与实验设置,推动模型机制层面的改造以实现原生不确定性表达,并将验证锚定于客观事实,从而使模型置信度真正成为现实的可靠代理。论文提交于2026年5月19日,属于计算与语言(cs.CL)领域,同时涉及人工智能与机器学习方向。