DecodeShare：追蹤LLM解碼時決策的共享子空間
大型語言模型（LLM）通過一組參數處理多種任務，但在KV緩存推理下，解碼時是否存在任務通用的結構尚不明確。本文提出DecodeShare協議，識別解碼時隱藏狀態中跨任務共享的低維子空間，並通過僅解碼時移除該子空間來測試其因果作用。實驗表明，干擾該共享子空間對決策性能的影響遠大於干擾預填充或隨機子空間。進一步，該解碼共享子空間對激活引導有實際影響：常見引導方向可能與任務通用解碼通道重疊。投影出共享子空間可直接分離兩個組件的功能角色，而解碼時評估引導向量比基於預填充的代理能提供更可靠的信號。儘管緊湊，共享子空間可作為解碼時的高槓杆因果通道。
大型語言模型（LLM）憑藉一組參數能夠處理多種自然語言任務，但其在KV緩存推理過程中的內部工作機制仍有許多未解之謎。特別是在解碼階段，模型是否利用了任務無關的通用結構信息，以及這些結構如何影響最終的決策輸出，一直是研究人員關注的焦點。近日，一篇發表在arXiv上的論文《DecodeShare：Tracing the Shared Subspace of LLM Decode-Time Decisions》（arXiv:2607.20469）提出了名為DecodeShare的創新協議，旨在識別並驗證解碼過程中存在的跨任務共享低維子空間，並探索其因果作用和實際應用價值。
DecodeShare的核心思想是，在LLM解碼時產生的隱藏狀態中，存在一個在多個不同任務之間保持一致的、低維的共享子空間。研究者通過分析多種任務（如問答、文本生成等）下解碼隱藏狀態的共性，運用主成分分析（PCA）等方法成功提取出了這一共享子空間，並設計了一系列因果乾預實驗來測試其功能重要性。具體做法是，在解碼階段僅移除該共享子空間，然後觀察模型決策性能的變化。實驗結果顯示，這種干預導致模型在所有測試任務上的性能顯著下降，其影響程度遠超移除預填充階段對應的子空間或隨機子空間。這一發現表明，該共享子空間在解碼過程中扮演着關鍵的因果角色，是模型進行有效決策所必需的結構。
進一步的研究揭示了這一解碼共享子空間與當前備受關注的激活引導（activation steering）技術之間的深刻聯繫。激活引導通過向模型隱藏狀態添加特定方向的向量來調控模型行為，常用於控制生成內容的安全性、風格等。然而，常見的引導方向往往與任務通用的解碼通道存在重疊，這使得引導效果的歸因變得困難。DecodeShare通過投影去除共享子空間，能夠清晰分離引導向量中任務通用與任務特定的功能成分，從而更精確地理解每個組件的作用。更重要的是，在解碼階段直接評估引導向量的效果，比傳統基於預填充階段的代理方法能夠提供更穩定、更可靠的信號，這對於下游部署中優化激活引導策略具有重要意義。
儘管這一共享子空間維度較低，結構緊湊，但它卻能作為解碼過程中的一個高槓杆因果通道，對模型的輸出行為產生顯著影響。這一發現不僅加深了我們對LLM內部運作機制的理解，也為未來改進模型推理效率、設計更可控的激活引導方法提供了新的視角和工具。論文的第一作者Zishan Shao及其合作者已在GitHub上開源了相關代碼（https://github.com/Zishan-Shao/decodeshare.git），以便研究人員復現實驗結果並進一步探索。該工作為理解和利用LLM解碼階段的共享結構開闢了新的方向。