量化上下文學習中的隨機不確定性：穩健衡量LLM預測置信度的新方法
該論文提出基於自函數向量的貝葉斯方法，直接估計上下文學習中的隨機不確定性，並設計嚴格評估協議分離隨機與認知不確定性。實驗表明，該方法比現有方法更可靠地衡量LLM預測的不確定性，可用於幻覺檢測等可信賴應用。已被ACL 2026接收。
近日，一篇被ACL 2026接收的論文《Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence》提出了一個創新方法，旨在量化大語言模型（LLM）在上下文學習（ICL）中的隨機不確定性，從而更穩健地衡量其預測置信度。
上下文學習允許LLM通過少量示例快速適應新任務，但其可靠性一直備受關注：預測結果對提示設計和模型理解上下文的能力高度敏感，使得失敗的原因難以判斷——是數據特性導致還是模型本身的侷限。不確定性分解，即將隨機不確定性（aleatoric uncertainty）從認知不確定性（epistemic uncertainty）中分離，在這個場景中尤為關鍵。然而，現有方法主要針對標準生成任務設計，無法捕捉ICL獨特的動態特性。
為了應對這一挑戰，研究團隊引入了“自函數向量”（self-function vectors）的概念。該向量基於貝葉斯觀點和ICL的機制可解釋性，利用模型內部表示來建模上下文提示期間學到的潛在概念。通過這種方法，研究人員能夠在貝葉斯框架內直接估計隨機不確定性，從而避免了對脆弱的輸入操作或解碼步驟的依賴。
此外，鑑於缺乏成熟的基準和合適的評估協議，該研究還提出了首個嚴格的評估協議。該協議通過控制數據操作來精確量化隨機不確定性，並將其與認知不確定性分離。評估框架首先在合成任務中進行概念驗證，隨後擴展到了真實世界的數據集。實驗結果顯示，所提出的方法比現有替代方案更可靠地衡量了ICL下LLM預測的不確定性。研究還表明，該方法可以作為一種實用工具用於可信賴相關的應用，例如幻覺檢測。
這項工作的核心貢獻在於將不確定性的定量視角與模型行為的機制理解連接起來，為未來更可靠、更可解釋的LLM應用開闢了新方向。