大規模言語モデル（LLM）がインコンテキスト学習で示す強力な能力の背後にあるメカニズムは、まだ十分に解明されていません。最近のトークンのパターンマッチングに依存しているのか、それとも潜在的な構造を推論しているのでしょうか？ICML 2026機械解釈可能性ワークショップに提出されたこの研究は、おもちゃのグラフランダムウォークタスクを用いて因果的証拠を提供します。著者ら（Katharine Kowalyshyn氏を含む4名）は、2026年5月8日にarXivに論文を投稿しました。
研究チームは、2つの競合するグラフ構造上のランダムウォークから次のノードを予測するタスクを設計しました。このタスクでは、モデルが大域的なトポロジーを追跡するか（構造推論）、または局所的な遷移をコピーするか（パターンマッチング）が原理的に決定可能です。しかし、2つの分析を通じて、単一のメカニズムだけではモデルの行動を完全に説明できないことが明らかになりました。
第一に、主成分分析（PCA）を用いて内部表現構造を再構築したところ、中間的な混合比では、両方のグラフ構造が直交する主成分部分空間に同時に符号化されていることがわかりました。これは、純粋な局所遷移コピーでは説明が困難なパターンです。
第二に、残差ストリーム活性化パッチングとグラフ差ステアリングといった因果介入を行いました。後期層のパッチングは、クリーングラフの嗜好をほぼ完全に転移させることができました。一方、線形ステアリングは予測を意図した方向に動かしましたが、ノルムマッチングやラベルシャッフルの対照条件では失敗しました。これらの結果は、モデル内に構造推論をサポートする操作可能な因果信号が存在することを示しています。
すべての証拠を総合すると、研究チームは真の構造推論と誘導回路（induction circuits）が並行して動作する二重メカニズム仮説を提唱しています。誘導回路はパターンマッチングを実現することが知られていますが、構造推論はより複雑な大域トポロジーの追跡を伴う可能性があります。この発見は、LLMのインコンテキスト学習メカニズムの理解を深めるだけでなく、将来のより効率的で解釈可能なモデル設計への理論的指針を提供します。現在、この論文はICML 2026機械解釈可能性ワークショップで審査中です。