ニューラルネットワーク内部の幾何学的計算機

Llama 3.1 8B に汎用加算モジュールを発見。数値を円形表現（フーリエ特徴）で符号化し、月や曜日の加算などに利用している。このモジュールは第18層に位置し、各モジュラスの和を並列計算し、ステアリング実験で因果関係を確認。