為什麼LLM在因果發現中失敗以及干預智能體如何突破
本文證明了大型語言模型在進行因果發現時存在根本性侷限：監督微調、直接偏好優化和上下文學習等方法無法區分產生相似觀測數據的因果圖。作者提出了智能體因果貝葉斯優化（A-CBO），其中凍結的語言模型作為干預預言機，外部貝葉斯循環在對數級別輪次內收斂到候選圖。在Corr2Cause基準上，A-CBO無需訓練即可匹配微調基線；在擴展到24個變量和18K測試樣本的Extended Corr2Cause上，A-CBO顯著優於微調和偏好優化。
文章情報
要點
- 證明了LLM在因果發現中的失敗是根本性的，源於核障礙定理
- 提出A-CBO方法，結合凍結LLM和外部貝葉斯優化
- 在Corr2Cause上無需訓練匹配微調基線，在擴展基準上顯著超越
為甚麼重要
這條新聞值得關注，因為證明了LLM在因果發現中的失敗是根本性的，源於核障礙定理。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
因果發現是科學推理的基石，它旨在從觀測數據中推斷變量之間的因果關係。然而，大型語言模型（LLM）能否可靠地完成這一任務一直是懸而未決的問題。近期基準測試顯示，即使是經過微調的模型，在簡單的因果圖上也會達到性能瓶頸，並且隨着問題複雜度的增加而退化，但失敗的根本原因始終未被闡明。
在一篇發表於2026年5月的新論文中，研究者從理論層面證明了這種失敗是根本性的。他們指出，監督微調、直接偏好優化以及上下文學習等方法，本質上都會產生無法區分生成相似觀測數據的因果圖的預測器。任何試圖區分的嘗試都需要模型內部表示無限增長，而這恰恰違反了這些方法有效工作的基本條件。研究者將其形式化為核障礙定理，確認該侷限是學習範式內在的，而非特定模型或數據集的問題。
為了突破這一侷限，研究者提出了智能體因果貝葉斯優化（Agentic Causal Bayesian Optimization，簡稱A-CBO）。在該框架中，一個凍結的語言模型被用作干預預言機，回答關於干預效果的定向查詢，同時一個外部的貝葉斯循環在對數級別的輪次內將信念集中於候選因果圖。由於決策操作超出了障礙定理適用的空間，A-CBO能夠保證收斂，同時底層模型保持不變。
實驗結果表明，在Corr2Cause基準上，A-CBO無需任何訓練即可匹配經過微調的基線性能。在擴展的Corr2Cause基準上（擴展到24個變量和18K個測試樣本），A-CBO顯著優於微調和偏好優化方法，並且優勢隨着問題規模的增大而擴大。這一發現不僅揭示了LLM在因果發現中的固有侷限性，也為通過外部智能體框架突破這些限制提供了可行路徑。