大語言模型（LLM）在上下文學習中的表現令人印象深刻，但背後的機制仍是一個謎。它們是簡單地透過模式匹配最近看到的標記來預測，還是能夠推斷出隱藏的全域性結構？一項提交至ICML 2026機械可解釋性研討會的新研究，透過一個精心設計的玩具圖隨機遊走任務，為這個問題提供了因果證據。該論文由Katharine Kowalyshyn等人撰寫，於2026年5月8日提交至arXiv。
研究團隊創造了一個任務，其中模型需要根據兩個相互競爭的圖結構上的隨機遊走來預測下一個節點。這兩個圖結構具有不同的拓撲：一個可能是鏈條，另一個可能是星形。任務的關鍵在於，原則上答案是可以明確區分的：模型要麼追蹤全域性拓撲（結構推斷），要麼簡單地複製區域性轉移（模式匹配）。然而，透過兩方面的深入分析，研究人員發現單一機制無法解釋模型的所有行為。
首先，他們運用主成分分析（PCA）來重建模型的內部表示結構。令人驚訝的是，在兩種圖結構混合比例適中的情況下，兩種圖拓撲竟然在正交的主成分子空間中同時被編碼。這意味著模型內部同時儲存了兩種結構的資訊，而非僅僅依賴於區域性的轉移模式。這種模式很難用純粹的區域性轉移複製來解釋。
其次，研究人員採用了更直接的因果乾預手段：殘差流啟用修補和圖形差異引導。透過在後期的殘差層進行啟用修補，他們發現幾乎可以完全將模型對乾淨圖的偏好轉移過來。而使用線性引導技術，則能夠按照預期的方向移動預測結果，但在範數匹配和標籤打亂的控制條件下，這種引導失效了。這些結果有力地表明，模型中確實存在一個可操作的因果訊號，支援結構推斷。
綜合所有證據，研究團隊提出了一個雙機制假說：真正的結構推斷與歸納電路（induction circuits）在模型中並行運作。歸納電路是一種已知的實現模式匹配的機制，而結構推斷則可能涉及更復雜的全域性拓撲追蹤。這一發現不僅加深了我們對LLM上下文學習機制的理解，也為未來設計更高效、更可解釋的模型提供了理論指導。目前，該論文正在ICML 2026機械可解釋性研討會上進行評審。