LLMはあなたが約束されたブラックボックスではない

Anthropicが2025年に発表した論文『大規模言語モデルの生物学』は、機械的解釈可能性の分野における画期的な成果です。ニューラルネットワークは長らく「ブラックボックス」と見なされてきましたが、本研究は革新的な回路追跡技術を用いて、モデル内部の複雑な計算プロセスを逆工学的に解明しました。

研究者が直面した中心的な課題は「重ね合わせ（superposition）」現象です。個々のニューロンは複数の無関係な概念に関与し、また特定の概念は多数のニューロンに分散して表現されます。従来の方法では単一のニューロンの活性化から意味を直接読み取ることは不可能でした。そこでAnthropicは回路追跡技術を開発しました。ベースモデルのMLP層の出力を疎に再現する「代替モデル」を訓練し、モデルの活性化を一連の疎な特徴に分解します。驚くべきことに、これらの特徴は人間が容易に識別できる高レベルの概念（「テキサス」や「オリンピック」など）に対応していることが判明しました。

これらの人間が解釈可能な特徴を獲得した後、研究者はそれらが前向き伝搬中にどのように相互作用するかを追跡することで、因果関係に基づくクラスタを形成し、計算の配線図を構築します。例えば、「ダラスがある州の州都は？」という質問に対して、「ダラス」特徴が活性化し、次に「テキサス」特徴が光り、最後に「オースティン」特徴が活性化するという一連の流れが観察されました。これはモデルが多段階の記号推論、すなわち疑似記号推論を行っていることを明確に示しており、一部の哲学者が「高次推論」と呼ぶプロセスに類似しています。

この現象は言語モデルに限ったものではありません。DeepMindが2022年に発表した研究では、モンテカルロ木探索に基づくAlphaZeroが、人間のチェスの概念（「王手」や「ピン」など）に対応する中間表現を、人間の知識を一切与えられずに自ら学習したことが示されました。

モデルの内部推論を理解することは、より優れた学習アルゴリズムの設計にも役立ちます。例えば、AnthropicはClaude 3.5 Haikuが独自の整数加算アルゴリズムを学習したことを発見しました。人間の暗算とは異なり、このモデルは問題を複数の並列パスに分割し、おおまかな桁数と正確な一桁を同時に計算し、記憶された「ルックアップテーブル」特徴を利用して再結合します。これにより、研究者はモデルの内部アルゴリズムを特定し、より良いアルゴリズムへと誘導できるかどうかという問いが生まれます。

重要なのは、モデル自身が回路追跡で明らかにされた内部思考プロセスについてメタ認知的洞察を持っているわけではないという点です。モデルに足し算の方法を説明するよう求めると、人間らしい整然とした手順を説明しますが、それは実際に実行されたアルゴリズムではありません。この「潜在意識」の存在こそが、可解釈性研究の入り口となります。

機械的解釈可能性の進展は、モデルの誤動作の特定、出力の誘導、さらには学習アルゴリズムの改善など、重要な意味を持ちます。10年前に機械学習の教授が語っていた常識に反して、今や私たちはモデルからこれまでにない深い洞察を得ています。詳細な研究内容はAnthropicの論文を参照し、関連する議論はXプラットフォームでご覧いただけます。