算術ヒューリスティックニューロンは形式不変か？LLMにおける記号、テキスト、コードのメカニズム分析
本研究では、Llama-3モデルにおける記号計算、自然言語文章題、Pythonコードの3形式での算術計算をメカニズム解釈可能性手法で分析。3形式に共通するコンパクトなニューロンセットを発見し、形式間の失敗は異なる回路ではなく活性化状態に起因することを示し、ニューロンレベルでの形式不変性を実証した。
大規模言語モデル（LLM）は、ある問題の定式化では成功する一方、同等の定式化では失敗することがよくあります。例えば、モデルが「25+37」を正しく計算できても、「太郎が25個のリンゴを持ち、花子が37個のリンゴを持っている場合、合わせていくつになりますか？」という自然言語の問題では誤った答えを出すことがあります。このような形式間の失敗が、異なる内部回路に起因するのか、共有回路の異なる活性化状態に起因するのかは長らく不明でした。
最近のメカニズム解釈可能性研究は、LLMにおける算術計算がスパースなMLPニューロン群によって符号化された「ヒューリスティックの袋」から生じることを示唆しています。これらのニューロンは、桁上げ法や分解法など、異なる算術戦略を表現します。しかし、これらのヒューリスティックニューロンが異なる問題形式間で形式不変であるかどうかは未解決の問題でした。
本研究では、Sharath NagannaらがLlama-3モデル（複数の規模）を対象に、記号計算（例：「25+37」）、自然言語文章題（例：上記のリンゴ問題）、Pythonコード（例：「print(25+37)」）の3形式で算術ヒューリスティックニューロンを調査しました。彼らは、帰属パッチ（attribution patching）と活性化パッチ（activation patching）を組み合わせた2段階パイプラインを用いて、各形式で算術に寄与するニューロンを特定しました。まず帰属パッチで出力への貢献度が高いニューロンを特定し、次に活性化パッチでそれらのニューロンの機能的重要性を検証しました。
実験の結果、3形式すべてで活性化されるコンパクトなニューロンセットが存在することが判明しました。標的介入により、この共有回路が後層の算術計算に必要かつ十分であることが示されました。さらに、ある形式での成功実行から別の形式の失敗実行へ共有ニューロンの活性化を転送すると、ほとんどの誤った予測が回復され、加算と減算では97%を超える回復率を示しました。これは、形式間の失敗が異なる内部回路ではなく、同一の共有回路が異なる活性化状態にあることに起因することを示しています。また、共有ニューロンは形式を超えて一貫して同じヒューリスティックファミリーに属しており、LLMの算術計算がニューロンレベルでほぼ形式不変であることが実証されました。
この発見は重要な意味を持ちます。まず、LLMが異なる形式の算術問題を処理する際の基盤メカニズムが高度に一貫していることを示し、モデルの汎化能力の理解に新たな視点を提供します。次に、ある形式での失敗は共有ニューロンの活性化状態を調整することで修正できる可能性があり、モデルのロバスト性向上のための手法を示唆しています。例えば、自然言語タスクでの算術パフォーマンスを改善するために、特定のニューロンの活性化を介入することが考えられます。本研究は、推論や計画など他の認知能力の形式間不変性を探る将来の研究の基盤ともなります。