一項新研究挑戰了先前關於大型語言模型（LLM）如何從少量示例中編碼任務標識的理解。論文《單位置干預失效：分佈式輸出模板驅動上下文學習》由Bryan Cheng和Jasper Zhang撰寫，已被2026年學習與智能優化大會（LION）以及ICLR 2026的多個研討會接收。
研究人員使用線性探測來定位任務表示，但發現探測準確率完全無法預測因果重要性。在對Llama-3.2-3B模型所有28層的測試中，單位置激活幹預實現了0%的任務遷移——儘管在這些位置上的線性探測準確率達到100%。這一零結果本身就是一項關鍵發現，表明任務編碼本質上是分佈式的，並非侷限於單一神經元或層。
相比之下，多位置干預——同時替換所有演示輸出令牌的激活——在第8層實現了高達96%的遷移（N=50，95%置信區間：[87%, 99%]），首次精確定位了上下文學習（ICL）任務標識的因果位點。該團隊在包含三種架構家族（LLaMA、Qwen、Gemma）的四個模型中驗證了這些發現，發現了一個約為網絡深度30%的通用干預窗口，表明該現象在不同架構中具有普遍性。
因果追蹤揭示了一種不對稱架構：查詢位置是嚴格必要的（將其激活替換為其他任務會導致53-100%的性能破壞），而任何單個演示位置都不是必要的（0%的破壞）。這解決了先前文獻中的一個關鍵歧義，即之前的研究無法區分演示和查詢的作用。
重要的是，遷移依賴於內部表示兼容性，而非表面相似性。研究人員通過實驗發現，即使演示和查詢在表面形式（如語言、格式）上完全不同，只要內部表示兼容，遷移仍然成功。相反，表面相似但內部表示不兼容的示例則無法遷移。相關係數分別為r=-0.05和r=0.31，明確排除了簡單的表面相似性解釋。
這些結果確立了分佈式模板假説：ICL任務標識被編碼為分佈在演示令牌上的輸出格式模板。這意味着模型並非在單個位置存儲任務信息，而是將任務理解分散在多個演示示例的表示中。這一發現從根本上重塑了我們對上下文學習運作機制的理解，不僅挑戰了現有的局部化解釋，還為未來LLM的機制可解釋性研究開闢了新方向。該工作對理解LLM如何從少量示例中快速學習新任務具有重要意義，並可能影響模型設計、推理效率和可解釋性方法的發展。