干預式基礎審計：通過謂詞替換對LLM思維鏈進行黑盒前提依賴測試
大型語言模型生成的思維鏈推理看似邏輯嚴謹，但實際上可能並未真正依賴其所述的前提。本文提出一種干預式基礎審計方法，通過替換單個前提中的目標謂詞，重新運行模型，並檢查推理步驟的標準化結論是否改變，從而在步驟級別測試前提依賴。在ProntoQA基準測試中，該方法在檢測證明樹依賴方面的F1分數達到0.806，顯著優於自一致性基線。此外，66%的正確解決問題中存在至少一個對齊步驟對直接證明樹依賴不敏感，揭示了“答案正確但推理錯誤”的信號。
大型語言模型（LLM）在生成思維鏈（CoT）推理時，往往表現出邏輯上的連貫性，但其推理過程是否真正依賴於所陳述的前提，仍是一個懸而未決的問題。近日，Hironao Nakamura 在提交至 arXiv 的一項研究中提出了一種干預式基礎審計（Interventional Grounding Audits）方法，旨在以黑盒方式在步驟級別測試前提依賴。該方法通過替換單條前提中的目標謂詞為全新符號，重新運行模型，並檢查每個推理步驟的標準化結論（即規範謂詞形式）是否發生變化，從而判斷該步驟是否真正依賴於被替換的前提。
研究團隊在 ProntoQA 這一合成多跳演繹推理基準上進行了評估，該基準提供了完整的證明樹，明確標註了步驟級的前提依賴關係。實驗使用了 GPT-4o 模型處理 50 個 ProntoQA 問題，結果表明，該方法在檢測證明樹依賴方面取得了 0.806 的 F1 分數，其中在謂詞決定性依賴上的 F1 高達 0.885，召回率為 100%。與之對比，自一致性基線方法僅獲得 0.343 的 F1 分數，且 95% 自助法置信區間無重疊，顯示出新方法的顯著優勢。
更值得注意的是，研究進一步發現，在模型正確解決的問題中，有 66% 至少存在一個對齊步驟對直接證明樹依賴不敏感——即在一致替換下，該步驟的結論未發生變化。所有這些案例均涉及實體引入前提，而這正是基於一致替換的評估方法的一個已知盲點。這一現象揭示了“答案正確但推理錯誤”的信號，而被動方法無法捕捉此類問題。
研究者強調，干預式基礎審計能夠識別出那些表面正確但實則存在推理缺陷的情況，為評估 LLM 推理的可信度提供了有力工具。所有審計證書、原始輸出和復現腳本均已公開在 GitHub 倉庫中。同時，論文也討論了該方法在超出形式化、可解析基準時的適用範圍限制，指出其目前仍主要適用於結構化的推理任務。該研究已被 ICLR 2026 大型語言模型邏輯推理研討會接收。