ニューラルネットワーク内部の幾何学的計算機

研究者らは、オープンソースの大規模言語モデルLlama 3.1 8Bの内部に、汎用的な「加算モジュール」が存在することを発見しました。このモジュールは一見奇妙でありながら非常に効率的な幾何学的メカニズムを用いて加算を実行します。この発見は、ニューラルネットワークが数値推論を内部的に処理する仕組みを明らかにし、モデルの動作と汎化能力の理解に新たな視点を提供します。

加算モジュールはモデルの第18層に位置しています。研究チームは、情報の層間の流れを追跡し、因果介入手法を用いることで、このモジュールが単なる数値加算（例：「7+9」）だけでなく、月や曜日などの循環概念を含む推論（例：「8ヶ月後の月」や「金曜日の2日後」）にも利用されていることを確認しました。このタスク間の再利用は、限られたパラメータの中でリソースを最適化するための工夫です。

では、ニューラルネットワークはどのように数値を表現しているのでしょうか？研究によれば、Llamaモデルは人間や従来のコンピュータのような線形数直線や二進数ではなく、一連の「円」を用いて数値を表現します。各数値は、異なる法（例：2、5、10、100）での剰余として符号化され、これらが活性化空間の円形特徴に対応します。この表現は数学的にはフーリエ分解の一種であり、モジュール化された情報処理を可能にします。

加算モジュールの動作は、大きな問題を複数の小さな問題に分解し、並列に解くというものです。各法の円について、モジュールはその法の下での和を計算します。例えば「6+8」を計算する場合、モジュールは (6 mod 2)+(8 mod 2)=0、(6 mod 5)+(8 mod 5)=4、(6 mod 10)+(8 mod 10)=4 などを並列に計算し、これらの結果が合計14を決定します。研究者らは可視化ツールを用いて、モデルが各法の円上で実際にどのように活性化しているかを示し、強い相関的証拠を提供しました。

因果的役割をさらに証明するため、研究チームは「ステアリング」技術を用いました：加算モジュール内のすべての円形特徴の強度を人為的に操作し、モデルの次の単語予測がどのように変化するかを観察しました。その結果、これらの円形特徴を操作することでモデルが出力する月が直接変化することが分かり、モジュールの実際の計算機能が確認されました。また、個々のニューロンの活性化パターンも明確な分業を示しており、あるニューロンは法2のサブ問題に特化し、別のニューロンは法5に特化するなど、役割が分担されています。

この研究の最も重要な教訓は、ニューラルネットワークが単に幾何学的な概念表現を格納するだけでなく、それらの表現を用いて実際の計算を実行するということです。加算モジュールはその一例に過ぎず、研究チームはこのようなメカニズムを大規模に自動発見する手法を開発中です。これらのメカニズムの理解は、AIシステムのデバッグ、制御、設計の向上に不可欠です。研究者が述べるように、「モデルの振る舞いを理解し、制御し、デバッグし、最終的により良いモデルを設計するためには、モデルが構築する表現と、それらの表現上で実行される計算の両方を理解する必要があります。」