機械は知能を持つのか？

マイクロソフトリサーチの新しいポッドキャストシリーズ『The Shape of Things to Come』の初回エピソードでは、ホストのDoug Burgerが、マイクロソフトリサーチのNicolò FusiとNumentaのSubutai Ahmadを招き、現在のAIシステムは本当に知能を持っているのかという核心的な問いについて深く掘り下げました。

Fusiはデジタルアーキテクチャ、特にTransformerベースの大規模言語モデル（LLM）に焦点を当てました。彼はTransformerの2つの主要コンポーネントである注意層とフィードフォワード層を説明しました。注意層は入力トークン間の関係を構築し、フィードフォワード層は知識を保存します。従来のリカレントニューラルネットワーク（RNN）と比較して、Transformerの並列計算能力は「適切なタイミングで登場した適切なアーキテクチャ」であり、情報の流れを解放しました。

しかし、Ahmadは神経科学の観点から「千の脳理論」を紹介しました。人間の大脳新皮質は約10万の皮質列から構成され、それぞれが独立した世界モデルを構築する完全な感覚運動処理ユニットです。これらの皮質列は並列かつ非同期に動作し、常に予測と更新を行っています。Transformerの単一の潜在空間とは対照的に、脳は数千もの協調する潜在空間を持っています。例えば、指をテーブルに近づけると、指先に対応する皮質列が接触感を予測し、予想外の感触があれば学習が起こります。

学習メカニズムにも顕著な違いがあります。脳はシナプス接続を常に追加と削除することで学習を続けています。研究によると、成体マウスの脳では、弱いシナプスの約30%が4日ごとに入れ替わる一方、強いシナプスは安定して維持されます。この「投機的学習」により、脳は新しい情報に迅速に適応しつつ、重要な知識を保持できます。Ahmadは地下室の階段の例えを用いて、一つの段差を修正した後、最初は予測が外れてバランスを崩すが、数回の試行で脳の分子レベルで新しいタイミングを学習することを説明しました。対照的に、現在のLLMの訓練は「ティーチャー・フォーシング」と呼ばれる手法を用い、各ステップで即時フィードバックが与えられますが、これは人間の学習方法とは大きく異なります。Fusiは、この密なフィードバックがモデルを脆弱にする可能性を指摘しました。

効率性の問題も取り上げられました。人間の大脳新皮質はわずか約10ワットの消費電力で複雑なタスクを実行します。一方、LLMは入力の難易度に関係なく一定の計算量を消費します。Ahmadは、脳が必要に応じてリソースを割り当てる点を指摘し、例えば指先に対応する皮質列は背中よりもはるかに多いことを例示しました。このような生物学的な効率性は、将来のより効率的なAI設計への示唆を与えます。

違いはあるものの、両者とも予測に基づくシステムです。Burgerは、Transformerの訓練では予測誤差が大きいほど学習の調整幅が大きくなることを指摘し、これは皮質列が予期しない刺激に反応する仕組みと類似しています。Fusiは情報理論の観点から、生成モデルは圧縮器と見なせると述べました。つまり、より優れた生成モデルを見つけることは、データに対するより良い圧縮器を見つけることと等価です。この見解は、AIの知能の本質を情報理論の観点から洞察するものです。

この対話は、現在のAIが驚くべき進歩を遂げている一方で、人間の脳の複雑さと比較すると依然として大きな隔たりがあることを明らかにしました。将来のAIシステムは、動的なリソース割り当て、非同期並列アーキテクチャ、疎なフィードバック機構など、より多くの生物学的インスピレーションを取り入れる必要があるかもしれません。