一项新研究挑战了先前关于大型语言模型（LLM）如何从少量示例中编码任务标识的理解。论文《单位置干预失效：分布式输出模板驱动上下文学习》由Bryan Cheng和Jasper Zhang撰写，已被2026年学习与智能优化大会（LION）以及ICLR 2026的多个研讨会接收。
研究人员使用线性探测来定位任务表示，但发现探测准确率完全无法预测因果重要性。在对Llama-3.2-3B模型所有28层的测试中，单位置激活干预实现了0%的任务迁移——尽管在这些位置上的线性探测准确率达到100%。这一零结果本身就是一项关键发现，表明任务编码本质上是分布式的，并非局限于单一神经元或层。
相比之下，多位置干预——同时替换所有演示输出令牌的激活——在第8层实现了高达96%的迁移（N=50，95%置信区间：[87%, 99%]），首次精确定位了上下文学习（ICL）任务标识的因果位点。该团队在包含三种架构家族（LLaMA、Qwen、Gemma）的四个模型中验证了这些发现，发现了一个约为网络深度30%的通用干预窗口，表明该现象在不同架构中具有普遍性。
因果追踪揭示了一种不对称架构：查询位置是严格必要的（将其激活替换为其他任务会导致53-100%的性能破坏），而任何单个演示位置都不是必要的（0%的破坏）。这解决了先前文献中的一个关键歧义，即之前的研究无法区分演示和查询的作用。
重要的是，迁移依赖于内部表示兼容性，而非表面相似性。研究人员通过实验发现，即使演示和查询在表面形式（如语言、格式）上完全不同，只要内部表示兼容，迁移仍然成功。相反，表面相似但内部表示不兼容的示例则无法迁移。相关系数分别为r=-0.05和r=0.31，明确排除了简单的表面相似性解释。
这些结果确立了分布式模板假说：ICL任务标识被编码为分布在演示令牌上的输出格式模板。这意味着模型并非在单个位置存储任务信息，而是将任务理解分散在多个演示示例的表示中。这一发现从根本上重塑了我们对上下文学习运作机制的理解，不仅挑战了现有的局部化解释，还为未来LLM的机制可解释性研究开辟了新方向。该工作对理解LLM如何从少量示例中快速学习新任务具有重要意义，并可能影响模型设计、推理效率和可解释性方法的发展。