讀出捷徑：位置數字複製主導小語言模型的算術思維鏈讀出
研究發現，小語言模型在進行算術推理時，思維鏈（CoT）提示的步驟順序並不重要，模型實際上是通過複製答案分隔符前的最後一個數字來得出答案，而非依賴邏輯推理。這種位置性捷徑佔模型準確率的絕大部分，且即使中間推理正確，錯誤的尾數也會導致答案錯誤。不同模型表現有差異，但該現象普遍存在，對基於CoT的監督方法提出了挑戰。
文章情報
要點
- 小語言模型在算術任務中依賴位置性數字複製捷徑，而非邏輯推理步驟。
- 複製機制佔模型準確率的89-92%，且優先於實際推理。
- 不同架構模型（如Qwen、Llama、Gemma）表現各異，但整體趨勢一致。
- 該發現對思維鏈的忠實性評估和監督方法構成潛在風險。
為甚麼重要
這條新聞值得關注，因為小語言模型在算術任務中依賴位置性數字複製捷徑，而非邏輯推理步驟。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
一項新研究揭示了小語言模型在算術推理中的一種令人意外的行為：這些模型並非真正依賴思維鏈（Chain-of-Thought, CoT）提示中的邏輯步驟，而是簡單地複製答案分隔符前的最後一個數字。這項題為“The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models”的論文發表於arXiv（編號2605.22870），對三種參數量為1-3B的指令微調語言模型（在GSM8K數據集上）進行了深入分析。
研究人員通過前綴補全實驗隔離了答案讀出階段，發現一個顯著的位置性捷徑：模型會複製位於答案分隔符前最後一個位置的數字，無論中間推理步驟如何。進一步分析顯示，正確答案的存在貢獻了54-92個百分點的準確率（佔每個模型教師強制上限的89-92%）。即便在回答錯誤的樣本中，最終答案與最後一個思維鏈數字匹配的概率高達95-96%。
更引人注目的是，複製通道的優先級遠超上下文保留推理。當將尾數替換為錯誤數值時，即使中間推理正確，模型準確率也會驟降至接近零。而完全移除該尾數後，準確率可恢復5-32個百分點。甚至對於模型本可完成的一步算術任務，如果存在一個可複製的數字，其計算能力也會被抑制。
不同架構的模型表現略有差異：Qwen和Llama在87-95%的情況下會複製新出現的干擾數字，而Gemma則表現出選擇性門控機制。通過頭部級別的消融實驗，研究人員發現這種效應與架構特定的頭部集合有關，並在GSM-Symbolic數據集上得到復現。
在非算術任務（如BBH）上，步驟打亂後的性能下降顯著；而在7-8B參數規模的模型中，出現了內容選擇性門控的趨勢。該發現揭示了步驟級忠實性評估的一個潛在風險：這類評估可能混淆位置性答案傳輸與真實計算過程，從而對基於CoT的監督方法構成挑戰。