大型語言模型（LLM）在邏輯推理任務中常被詬病無法正確處理否定，但一項來自南加州大學（USC）的新研究揭示了令人驚訝的發現：這些模型內部其實擁有專門處理否定的組件，只是由於注意力層的“短路”行為才導致外部表現不佳。該論文題為《How Language Models Process Negation》，已被ICML 2026接收，研究團隊通過機械論可解釋性方法，深入分析了Mistral-7B和Llama-3.1-8B等開源模型的內部計算過程。
研究的第一項關鍵發現是，儘管這些模型在需要否定推理的問答中準確率較低，但其內部存在能正確識別否定的神經元和注意力頭。通過一系列探針實驗和激活擾動，研究者確認模型在中間層已經編碼了正確的否定信息。那麼為什麼最終答案還是錯誤呢？問題出在後期注意力層。這些層會傾向於關注輸入中的簡單統計模式，而非真正的否定邏輯。當團隊移除這些“干擾”注意力模塊後，模型在否定問題上的準確率從約50%提升至80%以上，證明了這些模塊是導致錯誤的主要根源。
接下來，研究者深入探究了模型究竟如何表示和處理否定。他們提出了兩個假説：一是“抑制”機制，即某些注意力頭會被否定詞（如“不是”或“沒有”）激活，並專注於被否定的短語，然後抑制與該短語相關的概念；二是“構建”機制，即模型直接構造一個整體表示整個否定短語的向量，例如將“不是氣體”編碼為一個偏向液體和固體的表示，而非簡單的概念排除。通過一系列觀測和因果乾預實驗，包括激活補丁、線性探針和注意力頭消融，團隊發現兩種機制在模型中同時存在，但構建機制佔據了主導地位。具體來説，構建機制貢獻了約70%的效果，而抑制機制僅佔30%。構建機制的存在表明，LLM的否定處理並非僅僅通過抑制已有概念實現，而是積極構建新的、綜合的語義表示。
這項研究不僅深化了我們對LLM內部邏輯推理機制的理解，也為未來改進模型提供了切實可行的路徑。例如，通過設計新的訓練目標或架構改進來減少後期注意力層的干擾，或者通過引入專門的否定處理模塊來增強構建機制，都有可能顯著提升LLM在邏輯推理任務上的表現。此外，研究還揭示了LLM內部存在多種並行計算機制的複雜景觀，這對於設計更透明、更可靠的AI系統具有重要啓示。論文的代碼、模型和數據已公開，可供研究者復現和進一步探索。