AI News HubLIVE
站内改写1 分钟阅读

观点:LLM中的不确定性量化只是无监督聚类

本文指出当前大型语言模型(LLM)中的不确定性量化(UQ)方法存在类别错误,本质上是无监督聚类算法,只衡量内部一致性而非外部正确性,无法检测“自信幻觉”。作者识别出三种关键病理:超参数敏感性危机、内部评估循环混淆稳定性与真实性、缺乏真实标签导致依赖不稳定代理指标。研究呼吁范式转变,并提出了改进评估、原生不确定性和客观真理锚定的路线图。

来源arXiv Computational Linguistics作者: Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

一篇发表在ICML 2026的立场论文对当前大型语言模型(LLM)中的不确定性量化(UQ)方法提出了尖锐批评。作者团队来自知名研究机构,他们认为该领域存在根本性的类别错误:主流的UQ方法实际上是无监督聚类算法,而非真正的不确定性度量。这些方法量化的是模型生成内容的内部一致性,而非其与外部事实的符合程度。论文指出,由于依赖模型内部状态,现有UQ方法对“自信幻觉”完全失效——当模型在稳定但错误的答案上表现出高置信度时,这些方法无法发出警报。这种缺陷在医疗、司法等高风险场景中尤为危险,可能给部署者带来虚假的安全感。

具体而言,研究者识别出三种关键病理。首先是超参数敏感性危机:UQ方法的性能极度依赖于难以调试的阈值和参数设置,使得实际部署变得不安全。其次是内部评估循环:现有评估指标将稳定性与正确性混为一谈,导致模型可能在追求一致性时牺牲事实准确性。最后是缺乏真实标注:由于无法获取真实答案,研究者不得不依赖不稳定的代理指标来评估不确定性,进一步加剧了问题。

为解决这一困境,论文提出三条转型路线:一是采用更严格的评估指标和实验设置,例如引入外部知识库验证;二是改变模型机制,使其输出内在的不确定性估计,而非通过采样来推断;三是将目标真理作为校准锚点,确保模型置信度成为现实可靠性的代理。作者强调,只有跳出内部循环,才能真正发挥UQ的安全防护作用。

该论文被ICML 2026收录为立场论文,目前已上线arXiv。相关代码和数据将于近期公开,为后续研究提供基准。该研究由Tiejin Chen等四位作者完成,论文编号arXiv:2605.19220,主要涉及自然语言处理、人工智能和机器学习领域。