大语言模型（LLM）在上下文学习中的表现令人印象深刻，但背后的机制仍是一个谜。它们是简单地通过模式匹配最近看到的标记来预测，还是能够推断出隐藏的全局结构？一项提交至ICML 2026机械可解释性研讨会的新研究，通过一个精心设计的玩具图随机游走任务，为这个问题提供了因果证据。该论文由Katharine Kowalyshyn等人撰写，于2026年5月8日提交至arXiv。
研究团队创造了一个任务，其中模型需要根据两个相互竞争的图结构上的随机游走来预测下一个节点。这两个图结构具有不同的拓扑：一个可能是链条，另一个可能是星形。任务的关键在于，原则上答案是可以明确区分的：模型要么追踪全局拓扑（结构推断），要么简单地复制局部转移（模式匹配）。然而，通过两方面的深入分析，研究人员发现单一机制无法解释模型的所有行为。
首先，他们运用主成分分析（PCA）来重建模型的内部表示结构。令人惊讶的是，在两种图结构混合比例适中的情况下，两种图拓扑竟然在正交的主成分子空间中同时被编码。这意味着模型内部同时存储了两种结构的信息，而非仅仅依赖于局部的转移模式。这种模式很难用纯粹的局部转移复制来解释。
其次，研究人员采用了更直接的因果干预手段：残差流激活修补和图形差异引导。通过在后期的残差层进行激活修补，他们发现几乎可以完全将模型对干净图的偏好转移过来。而使用线性引导技术，则能够按照预期的方向移动预测结果，但在范数匹配和标签打乱的控制条件下，这种引导失效了。这些结果有力地表明，模型中确实存在一个可操作的因果信号，支持结构推断。
综合所有证据，研究团队提出了一个双机制假说：真正的结构推断与归纳电路（induction circuits）在模型中并行运作。归纳电路是一种已知的实现模式匹配的机制，而结构推断则可能涉及更复杂的全局拓扑追踪。这一发现不仅加深了我们对LLM上下文学习机制的理解，也为未来设计更高效、更可解释的模型提供了理论指导。目前，该论文正在ICML 2026机械可解释性研讨会上进行评审。