因果発見は科学的推論の基礎であるが、大規模言語モデル(LLM)がそれを確実に実行できるかは未解決の問題である。最近のベンチマークでは、微調整されたモデルでさえ単純な因果グラフで性能が頭打ちになり、複雑さが増すと劣化することが示されているが、その失敗の理由は明らかになっていなかった。
arXiv論文「Why LLMs Fail at Causal Discovery and How Interventional Agents Escape」(arXiv:2605.27567v1、2026年5月26日提出)は、この失敗が根本的であることを初めて証明した。著者のAmartya Royらは、教師あり微調整、直接選好最適化(DPO)、文脈内学習のいずれも、類似の観測データを生成する因果グラフを区別できない予測器を生み出し、区別を試みるとモデルの内部表現が無制限に増大してこれらの手法が機能する前提条件を破ることを示した。これを「カーネル阻害定理」として形式化し、制限が特定のモデルやデータセットではなく学習パラダイムに内在することを明らかにした。
この障壁を回避するため、論文はAgentic Causal Bayesian Optimization(A-CBO)を提案する。凍結された言語モデルが介入効果に関する標的クエリに答える介入オラクルとして機能し、外部のベイズループが対数ラウンドで候補グラフへの信念を集中させる。決定が阻害の適用されない空間の外で行われるため、A-CBOは元のモデルを変更せずに収束を証明できる。
Corr2Causeベンチマークでは、A-CBOは訓練なしで微調整ベースラインに匹敵する。新たに導入されたExtended Corr2Cause(24変数、1.8万テストサンプルに拡張)では、A-CBOは微調整と選好最適化の両方を大幅に上回り、その優位性は複雑さが増すにつれて拡大する。本研究はLLMの因果発見における本質的な限界を明らかにするだけでなく、モデルを変更せずに信頼性の高い因果推論を実現する実用的な枠組みを提供する。