大型語言模型（Large Language Models, LLMs）在客觀答案推理任務中通過生成逐步解決方案表現出色，例如數學問題求解和多跳問答。然而，診斷多步推理鏈條中的故障點仍然是一個難題。儘管置信度估計提供了一種診斷信號，但現有方法要麼侷限於最終答案的置信度，要麼需要訪問模型的內部狀態（如logits或注意力權重），這對於閉源或黑盒模型來説是不可行的。
為了解決這一挑戰，來自學術界的研究團隊提出了步驟置信度歸因（Stepwise Confidence Attribution, SCA）框架，專門針對閉源LLM設計。SCA的核心創新在於，它僅基於模型生成的推理軌跡（即每一步的文本輸出）來分配步驟級別的置信度，無需任何內部模型訪問。該框架應用了信息瓶頸（Information Bottleneck, IB）原理：如果一個推理步驟與正確解決方案中的共識結構相一致，則獲得高置信度；如果偏離共識，則被標記為潛在錯誤。
具體來説，研究者提出了兩種互補的方法實現SCA。第一種是非參數信息瓶頸（Non-parametric Information Bottleneck, NIBS），它通過測量推理軌跡之間的語義一致性來估計置信度，無需依賴圖結構。第二種是基於圖的信息瓶頸（Graph-based Information Bottleneck, GIBS），它通過一個可微分掩碼學習子圖，從而捕捉推理步驟之間的邏輯變異性。這兩種方法互為補充，NIBS適用於缺乏明顯結構關係的推理場景，而GIBS能更精細地建模步驟間的依賴關係。
研究者在大規模數學推理和多跳問答數據集上進行了大量實驗。結果表明，SCA能夠可靠地識別出低置信度步驟，這些步驟與實際的推理錯誤高度相關。更重要的是，當使用步驟級置信度來引導模型進行自我糾正時，糾正成功率相比於僅使用答案級反饋提升了高達13.5%。這一發現表明，步驟級的診斷信號對於提升LLM的推理可靠性具有重要價值。
該研究已被國際機器學習大會（ICML 2026）接收，標誌着在可解釋AI和黑盒模型診斷領域的重要進展。步驟置信度歸因框架為理解和改進大語言模型的推理能力提供了新的工具，尤其適用於那些無法訪問內部參數的商業模型。未來，該方法有望集成到產品級別的LLM系統中，幫助開發者快速定位推理錯誤，並提升模型的穩健性和可信度。