神經網絡內的幾何計算器
研究發現，Llama 3.1 8B 模型內部存在一個通用加法模塊，利用圓形表示（傅里葉特徵）對數字進行編碼和加法計算，並將其複用至月份、星期等循環概念的推理任務中。該模塊位於第18層，通過並行計算各模數的和來實現加法，並通過引導實驗證實了其因果作用。
文章情報
要點
- 在 Llama 3.1 8B 的第18層發現了一個通用加法模塊。
- 該模塊使用圓形表示（傅里葉特徵）來編碼數字，每個數字由多個模運算圓組成。
- 模塊通過並行計算各模數的和來實現加法，並在不同任務（如月份、星期加法）中複用。
- 通過引導實驗（steering）證實了該模塊的因果作用。
為甚麼重要
這條新聞值得關注，因為在 Llama 3.1 8B 的第18層發現了一個通用加法模塊。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
研究人員在一項新的研究中發現，開源大語言模型 Llama 3.1 8B 內部隱藏着一個通用的“加法模塊”，它利用一種看似奇特卻極為高效的幾何機制來執行加法運算。這項發現不僅揭示了神經網絡處理數值推理的內部工作原理，也為理解模型的行為和泛化能力提供了新的視角。
該加法模塊位於模型的第18層。研究團隊通過追蹤信息在層與層之間的流動，並採用因果乾預方法證實，這一模塊不僅用於處理純數字加法（如“7+9”），還能處理涉及循環概念的推理，例如“八個月後的月份”或“週五之後的兩天”。這種跨任務的重用是模型在參數有限的情況下優化資源分配的結果。
那麼，神經網絡是如何表示數字的呢？研究發現，Llama 模型並不像人類或傳統計算機那樣使用線性數軸或二進制編碼，而是採用一組“圓形”表示。每一個數字被編碼為在多個不同模數（例如2、5、10、100）下的餘數，這些餘數對應激活空間中的圓形特徵。這種表示方式類似於數學上的傅里葉分解，允許模型以模塊化的方式處理信息。
加法模塊的工作方式是將大問題分解為許多小問題並行求解。對於每個模數圓，模塊只需要計算該模數下的和。例如，計算“6+8”時，模塊分別計算 (6 mod 2)+(8 mod 2)=0、(6 mod 5)+(8 mod 5)=4、(6 mod 10)+(8 mod 10)=4，等等。最終，這些模數結果共同確定了總和14。研究人員通過可視化工具展示了模型在計算過程中各模數圓上的實際激活情況，提供了強有力的相關性證據。
為了進一步證明該模塊的因果作用，研究團隊採用了“引導”（steering）技術：通過人為調整加法模塊中所有圓形特徵的強度，觀察模型對後續單詞預測的改變。結果表明，操控這些圓形特徵可以直接改變模型輸出的月份，從而證實了該計算模塊的真實性和功能。此外，單個神經元的激活模式也顯示出清晰的分工：有些神經元專門負責模2子問題，有些負責模5，依此類推。
這項研究最重要的啓示是：神經網絡不僅存儲幾何化的概念表徵，還利用這些表徵進行實際計算。加法模塊只是一個例子，團隊正在開發能夠自動發現這類機制的方法。理解這些機制對於調試、控制以及設計更先進的AI系統至關重要。正如研究者所言：“如果我們要理解模型行為、控制它、調試它並最終設計更好的模型，我們就需要同時理解模型構建的表徵以及在這些表徵上執行的計算。”