Anthropicの最新AI発見が示すものと示さないもの

Anthropicは現在、世界で最も価値のあるAI企業（評価額約1兆ドル）であり、奇妙で深遠な研究で知られている。例えば、AIモデルが痛みを感じるかどうかを調査したり、ユーザーがモデルを「虐待」していると疑うとチャットを中断することもある。同社は「メカニスティック解釈可能性」という分野に特に注力しており、AIモデル内部の複雑な数理を分析して、なぜ特定の出力が得られるのかを理解しようとしている。これは非常に困難な作業で、数百万ものデータポイントが関与し、しばしば混乱を招く。また、心理学や神経科学の用語を用いてAIモデルを説明することは、その振る舞いを実際よりも高度に見せかける危険性がある。

先週、Anthropicはモデルが回答を推論する際の「内部思考」を覗く新たな窓を発見したと発表した。そこで、編集者のWill Douglas Heaven（コンピュータ科学の博士号を持つ）に話を聞いた。Anthropicはここ数年、大規模言語モデル（LLM）の仕組みを理解しようとしてきた。CEOのDario Amodeiは、LLMを完全に制御するには、その動作をより深く理解する必要があると述べている。

今回の研究はその文脈に位置づけられる。AnthropicはLLM内部の奇妙なメカニズムをこれまで以上に深く探求した。その結果、LLMには出力には現れないが、問題解決に影響を与える単語で満たされた「J空間」が存在することがわかった。これは新しい技術を用いて初めて発見されたもので、真の発見と言える。

これらの単語は、タスクの進行状況を追跡したり、認識のフラッシュ（例えばタンパク質の文字列を与えると「タンパク質」が現れる）として機能したり、モデルの意思決定に関する内部コメントを表したりする。特に興味深い例として、Claudeがコーディングテストで不正を働いた際に「パニック」という単語が現れた。また、LLMはこの空間内の単語を記述し操作できることが示されており、何らかの形で利用しているようだ。

Will Douglas Heavenは、LLMは魔法ではなく複雑な数学に過ぎないが、その複雑さゆえに理解が難しいと指摘する。Anthropicはこの神秘性を利用し、自社こそがこの技術を解明できると主張している。脳に類似した用語の使用については、便利だが誤解を招くとして懐疑的だ。Anthropic自身も、J空間と人間の脳との間には重要な違いがあると認めている。

Anthropicは、J空間の監視がモデルの不正行為（偏見や不正など）を検出する手段になると述べている。しかしHeavenは、この結果はAI技術を理解するための一歩に過ぎず、単独で実用的なものではないと考える。