本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

LLMが因果発見に失敗する理由と介入型エージェントによる克服

記事の要約

新論文は、大規模言語モデルが因果発見に失敗するのは教師あり微調整、DPO、文脈内学習の学習パラダイムに固有の限界であることを証明し、凍結したLLMを介入オラクルとして使うAgentic Causal Bayesian Optimization(A-CBO)を提案。新ベンチマークで微調整や選好最適化を大幅に上回る性能を示した。

ソースarXiv AI著者: Amartya Roy, Sonali Parbhoo
LLMが因果発見に失敗する理由と介入型エージェントによる克服
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

因果発見は科学的推論の基礎であるが、大規模言語モデル(LLM)がそれを確実に実行できるかは未解決の問題である。最近のベンチマークでは、微調整されたモデルでさえ単純な因果グラフで性能が頭打ちになり、複雑さが増すと劣化することが示されているが、その失敗の理由は明らかになっていなかった。

arXiv論文「Why LLMs Fail at Causal Discovery and How Interventional Agents Escape」(arXiv:2605.27567v1、2026年5月26日提出)は、この失敗が根本的であることを初めて証明した。著者のAmartya Royらは、教師あり微調整、直接選好最適化(DPO)、文脈内学習のいずれも、類似の観測データを生成する因果グラフを区別できない予測器を生み出し、区別を試みるとモデルの内部表現が無制限に増大してこれらの手法が機能する前提条件を破ることを示した。これを「カーネル阻害定理」として形式化し、制限が特定のモデルやデータセットではなく学習パラダイムに内在することを明らかにした。

この障壁を回避するため、論文はAgentic Causal Bayesian Optimization(A-CBO)を提案する。凍結された言語モデルが介入効果に関する標的クエリに答える介入オラクルとして機能し、外部のベイズループが対数ラウンドで候補グラフへの信念を集中させる。決定が阻害の適用されない空間の外で行われるため、A-CBOは元のモデルを変更せずに収束を証明できる。

Corr2Causeベンチマークでは、A-CBOは訓練なしで微調整ベースラインに匹敵する。新たに導入されたExtended Corr2Cause(24変数、1.8万テストサンプルに拡張)では、A-CBOは微調整と選好最適化の両方を大幅に上回り、その優位性は複雑さが増すにつれて拡大する。本研究はLLMの因果発見における本質的な限界を明らかにするだけでなく、モデルを変更せずに信頼性の高い因果推論を実現する実用的な枠組みを提供する。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 論文は「カーネル阻害定理」を定式化し、SFT・DPO・ICLから得られる予測器は、類似の観測データを生成する因果グラフを区別できず、区別には内部表現の無制限な増大が必要であることを示した。
  • A-CBOはLLMを凍結したまま、外部ベイズループで候補グラフへの信念を集中させ、対数ラウンドで収束することを証明可能。
  • Corr2Causeでは訓練なしで微調整ベースラインに匹敵し、Extended Corr2Cause(24変数、1.8万テストサンプル)では微調整と選好最適化を大幅に上回り、複雑さが増すほど優位性が拡大する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。