在大型語言模型（LLM）的生成任務中，尤其是涉及結構化輸出時，評估模型輸出的不確定性至關重要。最常用的方法之一是最大軟最大概率（MSP），即取模型輸出概率的最大值作為置信度分數。然而，儘管MSP計算成本低廉，它卻經常表現出校準不良的問題：高概率輸出並不總是代表高準確性，反之亦然。這促使研究者探索更精細的不確定性量化方法。
傳統的改進方法通過探測模型內部激活來獲取更多信息。這些方法通常將原始隱藏狀態輸入到不透明的分類器中，但它們的核心侷限在於將每一層的激活視為靜態快照，忽略了這些表示是如何逐層構建的。事實上，不同的推理路徑可能最終收斂到類似的端點，而中間過程所反映的證據積累、增強或反轉模式，可能恰恰揭示了最終概率所掩蓋的不確定性。
一篇由Aliai Eusebi等六位作者發表於arXiv（編號2605.22864）的論文提出了一種全新的視角：從語言模型的逐層MLP更新軌跡中提取幾何特徵。具體來説，研究者定義了11個尺度不變的幾何特徵，這些特徵描述了累積的MLP更新路徑的形狀和變化。例如，路徑的長度、曲率、方向一致性等都被納入考量。這些特徵被輸入到一個稀疏線性探針（sparse linear probe）中，用於預測模型的不確定性。
實驗在選擇性棄權（selective abstention）任務上進行：模型可以選擇放棄回答那些它不確定的問題。結果表明，基於軌跡特徵的探針顯著優於MSP，其收益與基線校準誤差成正比，最高可提升21個AURC點（AURC是評估選擇性預測性能的指標）。更重要的是，由於每個特徵都有封閉形式的幾何意義，探針的權重可以直觀地解釋誤差的來源：哪些層過早地做出了承諾，哪些層的更新方向與整體趨勢相矛盾，以及軌跡最終在何處偏離了正確的終點。
這項工作的意義不僅在於性能提升，還在於其可解釋性。它提供了一種新的工具，用於理解語言模型內部如何形成不確定性，以及校準誤差如何在深度上逐步累積。未來，該方法有望應用於對可靠性有嚴格要求的領域，如醫療診斷、自動駕駛和金融風控。論文的代碼和數據已公開，供研究社區復現和進一步探索。