一項最新的研究論文《Instructions shape Production of Language, not Processing》近日在arXiv上發表，該研究由Andreas Waldis等人完成，提出了一個引人注目的觀點：在語言模型中，指令主要影響的是語言的“生成”（production）階段，而非“處理”（processing）階段。這一發現挑戰了我們對語言模型內部工作機制的傳統理解。
研究團隊借鑑認知科學中語言處理與生成分離的理論框架，設計了一系列精巧的實驗。他們在五種二元判斷任務上，逐層探測了模型內部的任務特定資訊。具體來說，他們測量了指令令牌如何影響樣本令牌（待評估的輸入）和輸出令牌（模型生成的回答）中的資訊分佈。結果發現，無論提示如何變化，樣本令牌中的任務相關資訊始終保持相對穩定，且與模型的實際行為表現僅有微弱的相關性。相反，輸出令牌中的同一資訊則隨指令變化而顯著波動，並且與行為表現高度相關。這表明，指令對模型的影響主要集中在生成階段。
為了進一步驗證因果關係，研究者採用了基於注意力的干預方法。當完全阻斷指令流向所有後續令牌（包括樣本和輸出令牌）時，輸出中的任務相關資訊顯著下降，同時模型行為也受到影響。然而，如果只阻斷指令流向樣本令牌，而允許其繼續影響輸出令牌，則行為變化微乎其微。這直接證明，指令是透過影響輸出生成過程來驅動模型行為的。
值得注意的是，這種不對稱性在不同模型家族和任務中普遍存在，並且隨著模型規模的增加和指令調優的進行而變得更加顯著。模型規模擴大和指令調優對生成階段的影響遠大於處理階段，這進一步強化了指令主要作用於生成環節的結論。
該研究的核心啟示是：要真正理解語言模型的能力，我們需要同時考察模型的內部狀態和行為表現，同時必須按令牌位置分解內部視角，區分輸入處理和輸出生成。這項成果為未來語言模型的評估和設計提供了新的理論依據，提示研究者不應僅關注模型對輸入的處理，更應重視指令如何塑造輸出。這一發現對模型選型、推理成本最佳化、產品能力提升以及評測基準的建立都具有重要參考價值。