大型語言模型（LLM）在邏輯推理任務中常被詬病無法正確處理否定，但一項來自南加州大學（USC）的新研究揭示了令人驚訝的發現：這些模型內部其實擁有專門處理否定的元件，只是由於注意力層的“短路”行為才導致外部表現不佳。該論文題為《How Language Models Process Negation》，已被ICML 2026接收，研究團隊透過機械論可解釋性方法，深入分析了Mistral-7B和Llama-3.1-8B等開源模型的內部計算過程。
研究的第一項關鍵發現是，儘管這些模型在需要否定推理的問答中準確率較低，但其內部存在能正確識別否定的神經元和注意力頭。透過一系列探針實驗和啟用擾動，研究者確認模型在中間層已經編碼了正確的否定資訊。那麼為什麼最終答案還是錯誤呢？問題出在後期注意力層。這些層會傾向於關注輸入中的簡單統計模式，而非真正的否定邏輯。當團隊移除這些“干擾”注意力模組後，模型在否定問題上的準確率從約50%提升至80%以上，證明了這些模組是導致錯誤的主要根源。
接下來，研究者深入探究了模型究竟如何表示和處理否定。他們提出了兩個假說：一是“抑制”機制，即某些注意力頭會被否定詞（如“不是”或“沒有”）啟用，並專注於被否定的短語，然後抑制與該短語相關的概念；二是“構建”機制，即模型直接構造一個整體表示整個否定短語的向量，例如將“不是氣體”編碼為一個偏向液體和固體的表示，而非簡單的概念排除。透過一系列觀測和因果乾預實驗，包括啟用補丁、線性探針和注意力頭消融，團隊發現兩種機制在模型中同時存在，但構建機制佔據了主導地位。具體來說，構建機制貢獻了約70%的效果，而抑制機制僅佔30%。構建機制的存在表明，LLM的否定處理並非僅僅透過抑制已有概念實現，而是積極構建新的、綜合的語義表示。
這項研究不僅深化了我們對LLM內部邏輯推理機制的理解，也為未來改進模型提供了切實可行的路徑。例如，透過設計新的訓練目標或架構改進來減少後期注意力層的干擾，或者透過引入專門的否定處理模組來增強構建機制，都有可能顯著提升LLM在邏輯推理任務上的表現。此外，研究還揭示了LLM內部存在多種平行計算機制的複雜景觀，這對於設計更透明、更可靠的AI系統具有重要啟示。論文的程式碼、模型和資料已公開，可供研究者復現和進一步探索。