DecodeShare：追踪LLM解码时决策的共享子空间
大型语言模型（LLM）通过一组参数处理多种任务，但在KV缓存推理下，解码时是否存在任务通用的结构尚不明确。本文提出DecodeShare协议，识别解码时隐藏状态中跨任务共享的低维子空间，并通过仅解码时移除该子空间来测试其因果作用。实验表明，干扰该共享子空间对决策性能的影响远大于干扰预填充或随机子空间。进一步，该解码共享子空间对激活引导有实际影响：常见引导方向可能与任务通用解码通道重叠。投影出共享子空间可直接分离两个组件的功能角色，而解码时评估引导向量比基于预填充的代理能提供更可靠的信号。尽管紧凑，共享子空间可作为解码时的高杠杆因果通道。
大型语言模型（LLM）凭借一组参数能够处理多种自然语言任务，但其在KV缓存推理过程中的内部工作机制仍有许多未解之谜。特别是在解码阶段，模型是否利用了任务无关的通用结构信息，以及这些结构如何影响最终的决策输出，一直是研究人员关注的焦点。近日，一篇发表在arXiv上的论文《DecodeShare：Tracing the Shared Subspace of LLM Decode-Time Decisions》（arXiv:2607.20469）提出了名为DecodeShare的创新协议，旨在识别并验证解码过程中存在的跨任务共享低维子空间，并探索其因果作用和实际应用价值。
DecodeShare的核心思想是，在LLM解码时产生的隐藏状态中，存在一个在多个不同任务之间保持一致的、低维的共享子空间。研究者通过分析多种任务（如问答、文本生成等）下解码隐藏状态的共性，运用主成分分析（PCA）等方法成功提取出了这一共享子空间，并设计了一系列因果干预实验来测试其功能重要性。具体做法是，在解码阶段仅移除该共享子空间，然后观察模型决策性能的变化。实验结果显示，这种干预导致模型在所有测试任务上的性能显著下降，其影响程度远超移除预填充阶段对应的子空间或随机子空间。这一发现表明，该共享子空间在解码过程中扮演着关键的因果角色，是模型进行有效决策所必需的结构。
进一步的研究揭示了这一解码共享子空间与当前备受关注的激活引导（activation steering）技术之间的深刻联系。激活引导通过向模型隐藏状态添加特定方向的向量来调控模型行为，常用于控制生成内容的安全性、风格等。然而，常见的引导方向往往与任务通用的解码通道存在重叠，这使得引导效果的归因变得困难。DecodeShare通过投影去除共享子空间，能够清晰分离引导向量中任务通用与任务特定的功能成分，从而更精确地理解每个组件的作用。更重要的是，在解码阶段直接评估引导向量的效果，比传统基于预填充阶段的代理方法能够提供更稳定、更可靠的信号，这对于下游部署中优化激活引导策略具有重要意义。
尽管这一共享子空间维度较低，结构紧凑，但它却能作为解码过程中的一个高杠杆因果通道，对模型的输出行为产生显著影响。这一发现不仅加深了我们对LLM内部运作机制的理解，也为未来改进模型推理效率、设计更可控的激活引导方法提供了新的视角和工具。论文的第一作者Zishan Shao及其合作者已在GitHub上开源了相关代码（https://github.com/Zishan-Shao/decodeshare.git），以便研究人员复现实验结果并进一步探索。该工作为理解和利用LLM解码阶段的共享结构开辟了新的方向。