神經網路內的幾何計算器
研究發現，Llama 3.1 8B 模型內部存在一個通用加法模組，利用圓形表示（傅立葉特徵）對數字進行編碼和加法計算，並將其複用至月份、星期等迴圈概念的推理任務中。該模組位於第18層，透過平行計算各模數的和來實現加法，並透過引導實驗證實了其因果作用。
神經網路內的幾何計算器
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
研究發現，Llama 3.1 8B 模型內部存在一個通用加法模組，利用圓形表示（傅立葉特徵）對數字進行編碼和加法計算，並將其複用至月份、星期等迴圈概念的推理任務中。該模組位於第18層，透過平行計算各模數的和來實現加法，並透過引導實驗證實了其因果作用。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。