量化上下文学习中的随机不确定性：稳健衡量LLM预测置信度的新方法
该论文提出基于自函数向量的贝叶斯方法，直接估计上下文学习中的随机不确定性，并设计严格评估协议分离随机与认知不确定性。实验表明，该方法比现有方法更可靠地衡量LLM预测的不确定性，可用于幻觉检测等可信赖应用。已被ACL 2026接收。
近日，一篇被ACL 2026接收的论文《Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence》提出了一个创新方法，旨在量化大语言模型（LLM）在上下文学习（ICL）中的随机不确定性，从而更稳健地衡量其预测置信度。
上下文学习允许LLM通过少量示例快速适应新任务，但其可靠性一直备受关注：预测结果对提示设计和模型理解上下文的能力高度敏感，使得失败的原因难以判断——是数据特性导致还是模型本身的局限。不确定性分解，即将随机不确定性（aleatoric uncertainty）从认知不确定性（epistemic uncertainty）中分离，在这个场景中尤为关键。然而，现有方法主要针对标准生成任务设计，无法捕捉ICL独特的动态特性。
为了应对这一挑战，研究团队引入了“自函数向量”（self-function vectors）的概念。该向量基于贝叶斯观点和ICL的机制可解释性，利用模型内部表示来建模上下文提示期间学到的潜在概念。通过这种方法，研究人员能够在贝叶斯框架内直接估计随机不确定性，从而避免了对脆弱的输入操作或解码步骤的依赖。
此外，鉴于缺乏成熟的基准和合适的评估协议，该研究还提出了首个严格的评估协议。该协议通过控制数据操作来精确量化随机不确定性，并将其与认知不确定性分离。评估框架首先在合成任务中进行概念验证，随后扩展到了真实世界的数据集。实验结果显示，所提出的方法比现有替代方案更可靠地衡量了ICL下LLM预测的不确定性。研究还表明，该方法可以作为一种实用工具用于可信赖相关的应用，例如幻觉检测。
这项工作的核心贡献在于将不确定性的定量视角与模型行为的机制理解连接起来，为未来更可靠、更可解释的LLM应用开辟了新方向。