为什么LLM在因果发现中失败以及干预智能体如何突破
本文证明了大型语言模型在进行因果发现时存在根本性局限：监督微调、直接偏好优化和上下文学习等方法无法区分产生相似观测数据的因果图。作者提出了智能体因果贝叶斯优化（A-CBO），其中冻结的语言模型作为干预预言机，外部贝叶斯循环在对数级别轮次内收敛到候选图。在Corr2Cause基准上，A-CBO无需训练即可匹配微调基线；在扩展到24个变量和18K测试样本的Extended Corr2Cause上，A-CBO显著优于微调和偏好优化。
文章情报
要点
- 证明了LLM在因果发现中的失败是根本性的，源于核障碍定理
- 提出A-CBO方法，结合冻结LLM和外部贝叶斯优化
- 在Corr2Cause上无需训练匹配微调基线，在扩展基准上显著超越
为什么重要
这条新闻值得关注，因为证明了LLM在因果发现中的失败是根本性的，源于核障碍定理。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
因果发现是科学推理的基石，它旨在从观测数据中推断变量之间的因果关系。然而，大型语言模型（LLM）能否可靠地完成这一任务一直是悬而未决的问题。近期基准测试显示，即使是经过微调的模型，在简单的因果图上也会达到性能瓶颈，并且随着问题复杂度的增加而退化，但失败的根本原因始终未被阐明。
在一篇发表于2026年5月的新论文中，研究者从理论层面证明了这种失败是根本性的。他们指出，监督微调、直接偏好优化以及上下文学习等方法，本质上都会产生无法区分生成相似观测数据的因果图的预测器。任何试图区分的尝试都需要模型内部表示无限增长，而这恰恰违反了这些方法有效工作的基本条件。研究者将其形式化为核障碍定理，确认该局限是学习范式内在的，而非特定模型或数据集的问题。
为了突破这一局限，研究者提出了智能体因果贝叶斯优化（Agentic Causal Bayesian Optimization，简称A-CBO）。在该框架中，一个冻结的语言模型被用作干预预言机，回答关于干预效果的定向查询，同时一个外部的贝叶斯循环在对数级别的轮次内将信念集中于候选因果图。由于决策操作超出了障碍定理适用的空间，A-CBO能够保证收敛，同时底层模型保持不变。
实验结果表明，在Corr2Cause基准上，A-CBO无需任何训练即可匹配经过微调的基线性能。在扩展的Corr2Cause基准上（扩展到24个变量和18K个测试样本），A-CBO显著优于微调和偏好优化方法，并且优势随着问题规模的增大而扩大。这一发现不仅揭示了LLM在因果发现中的固有局限性，也为通过外部智能体框架突破这些限制提供了可行路径。