図書館と司書：なぜAIには二つの異なる「脳」が必要なのか

数週間前、夕食の席で誰かがあるAIモデルに、表面上は些細な質問をしました。その質問はインターネット上に一字一句存在するものではなく、単に二つのアイデアを組み合わせた平凡な問題でしたが、モデルはそれまでその組み合わせを見たことがありませんでした。モデルは大げさに失敗せず、自信満々に答えました。それは個々に正しい断片から組み立てられ、全体としては全く意味をなさない、もっともらしい答えでした。

この失敗は興味深いものです。知識の欠如によるものではありません。モデルに事実が欠けていたわけではなく、必要なものはすべて重みの中にありました。欠けていたのは、モデルが「知っている」ルールを、答えを記憶していない状況に正しく適用する能力でした。

これは絶えず発生しており、真剣に受け止めるべきことを示しています。すなわち、私たちは一つのシステムに二つの根本的に異なる仕事をさせようとしており、なぜ両方で平凡なのかと疑問に思っているのです。

図書館と司書を別々のものとして想像してください。図書館は事実の保管庫であり、すべての本、記録、書き留められた事実を保持します。それ自体では何もせず、情報を忠実に保持し、発見されるのを待っています。

司書は全く異なる種類の知性です。優れた司書は棚にあるすべての本を暗記している必要はありません。彼らが持つのはより価値のある能力、すなわち、馴染みのない質問を分解し、調査すべき場所を見極め、建物の異なるセクションにあるアイデアを結びつけ、同じ質問をされたことがなくても答えを提供する方法を知っていることです。

現在、大規模言語モデルは両方の役割を同時に果たすように訓練され、一つのシステムに統合されています。彼らは図書館であること、つまりインターネットの膨大な部分をパラメータに記憶することと、同時に司書として振る舞い、蓄積された素材を基に推論して新しい質問に答えることが期待されています。口に出して言うと奇妙な設計です。すべての本が他のすべての本について個人的に推論することを要求する図書館は作りません。それにもかかわらず、私たちはおおよそそのようなアーキテクチャをデフォルトとしてきました。

事実、文法、論理、算術、スタイル、世界知識——すべてが同じ重みに圧縮され、同じ方法で学習され、同じ方法で検索されます。これは巧妙なトリックであり、私たちを驚くほど遠くまで連れてきました。しかし、次の段階にとっては間違った形状かもしれません。

私たちは図書館を大きくすることに注力してきました。過去数年間、AIを改善するための支配的な戦略は単純でした。図書館を大きくすることです。より多くのテキスト、より多くのトークン、より多くのパラメータで訓練すると、性能が向上します。この方法は非常にうまく、予測可能に機能したため、「スケールこそすべて」という言葉が業界の合言葉に近づきました。

しかし、図書館がどれほど大きくても上限はあり、私たちは誇大広告が認めるよりもそれに近づいています。インターネットはすでに巨大で常に更新される図書館であり、毎秒新しいエントリ（ニュース、論文、価格、発見、コード変更、修正）が追加されます。それに対して、モデルの内部記憶は訓練が終了した瞬間に凍結されます。モデルが「知っている」すべての事実はある時点のものであり、世界が動き続ける中で静止し続けます。

これこそが、検索拡張システム——記憶された重みだけに依存するのではなく外部ソースを検索するモデル——が現代のAIの実際の展開において中心的な役割を果たす理由です。それは、本稿の主張を暗に認めるものです。インターネットはすでに、モデルの内部記憶が望みうるよりも優れた図書館です。インターネットを記憶し尽くそうとするのは、負け戦であり、ますます無意味な競争です。

では、図書館の問題が基本的に解決された、あるいは少なくとも既存のものを指すことで解決可能なものであれば、知能の次の飛躍はどこから来るべきでしょうか？より大きな図書館からではなく、より優れた司書からです。

ここに実際に重要なギャップがあり、それは単純な比較を通して最も明確に見えます。掛け算を学ぶ二人の子供を考えてみてください。一人の子供は九九を暗記します——7×8=56、9×6=54——を純粋な反復で覚えます。その表の範囲内の質問には即座に完璧に答えますが、47×83を聞かれると、その組み合わせが暗記した表にないため行き詰まります。

もう一人の子供は掛け算が実際に何であるかを理解しています——繰り返し足し算、スケーリング、基礎となるルール——を理解しており、答えのルックアップテーブルではありません。7×8では遅いかもしれませんが、47×83という初めて見る組み合わせでも、記憶した出力ではなく出力を生成するルールを学んだため、計算できます。

大規模言語モデルは、その洗練された外見にもかかわらず、多くの場合、最初の子供にずっと似ています。質問が訓練データの何かに似ている場合——たとえその類似性が複数の表現の層に埋もれていても——驚くほど正しい答えを生成します。しかし、質問を訓練済みのパターンからほんの少し外すと、ひび割れが現れます。モデルが非知能的なからではなく、理解に見えたものが、その根底では極めて高度な記憶と補間だったからです。

これが、「知能ストア」を「知識ストア」と区別する実際の意味です。それは rigid で古典的な if-then ルールブックについてではなく、ルール——言語の文法、証明の論理、プログラミング言語の構文、議論の構造——を真に学習したシステムが、未遭遇の状況にもきれいに一般化できることについてです。対照的に、単に次に来るものを推測するのが非常に得意なシステムは、大量のテキストを見てきたためにほとんどすべてが何かに似ているため、そうなります。

知識は検索です。知能はこの意味で一般化です。これらは同じ能力ではなく、一つのシステムに同じ方法で両方を同時にやらせることは、おそらく両方とも、別々に構築された場合よりも少し劣った結果を生む理由です。

知識と知能が本質的に異なる能力であるならば、次の当然の疑問はアーキテクチャに関するものです。一つの巨大なモデルで両方を兼ねる必要があるのか、あるいは、それぞれが一つの仕事に秀でた小さな専門化された部品のクラスタと、それらの間をルーティングする方法を知る何かによって調整されるシステムを構築できるのか？

これを、全知の神託というよりは、うまく機能するチームと考えてください。最高のファクトチェッカーに法的論証を書かせたいとは思わないでしょうし、最高の論理学者に百科事典の役割をさせたいとも思わないでしょう。専門家——そして、与えられた質問に対してチームの誰に送るべきかを知っている十分に賢いコーディネーター——が必要です。

このイメージでは、知識クラスタは図書館が得意とすること、すなわち事実を忠実に保存・検索し、最新の状態を保ち、可能な限り広い範囲をカバーすることに最適化されます。賢い必要はなく、正確で包括的である必要があります。

対照的に、ルールクラスタはまったく巨大である必要はありません。真にきれいに「算術のルール」や「言語の文法」を学習したシステムは、小さく、タイトで、高忠実度のもの——散在するアーカイブというよりも、蒸留された原理の集合に近い——です。サイズで勝負するのではなく、正しさと一般性で勝負し、例のテーブルではなく基礎となる構造を学んだため、未見の組み合わせも処理できます。

そして、その上に座るのがオーケストレーター、すなわちシステムの真の司書であり、その仕事全体は、与えられた質問に対してどの専門家に相談すべきか、彼らの回答をどう組み合わせるか、そしていつ質問が事実とルールの協力を必要とするかを知ることです。

これはまったく前例のないアイデアではありません——知能は一つの全知のモノリスではなく、多くの専門化された協力部品から現れるという概念は、数十年にわたり認知科学や計算機科学で異なる名前で探求されてきました。変わったのは、現代のAIシステムでそれを構築することがついに実用的になったことです。

正直な複雑さ

知識と知能がアナロジーのようにきれいに分離できればすっきりするのですが、実際はそうはいきません。今日の大規模モデルが推論をある程度可能にしている理由の一部は、訓練されたデータの広がりにあるようです。膨大なテキストへの露出は、事実だけでなく、論理、議論、構造のパターンを拾い上げる方法の一部でもあります。知識を完全に取り除くと、ルール学習が構築された材料の一部も失う可能性があります。現在のモデルでは、知能と知識は根元で絡み合っており、私たちが単に壁を建てるのを忘れた別々の部屋に住んでいるわけではありません。

したがって、この主張の正直なバージョンは「完全な分離は達成可能」ではありません。それはより狭く、より有用です。私たちはほぼ間違いなく、図書館を拡大することに過剰投資しており、意味のあるリターンのポイントを超えている一方で、司書——想起ではなく一般化、推論、ルーティングを担当するシステムの部分——への投資が不足しています。一つのモデルで全てを統治することを主張するのではなく、それら二つの仕事を分離する方向への不完全な動きでさえ、正しい方向を指しているように思えます。

考えるべき異なる問い

しばらくの間、AIにおけるデフォルトの問いは「モデルをどう大きくするか」でした。少なくともしばらくは、別の問いに置き換える価値があるかもしれません。「分業をどう賢くするか？」

すべてを一度にやろうとする一つの広大な精神——成長し続ける図書館であり、同時に自身の司書でなければならないもの——ではなく、よりシステムに近いもの：既知のものを保持する場所、物事の仕組みを真に学んだ部分、そしてそれらの間に座って、瞬間ごとにどちらが必要かを知る十分に賢い何か。

AIの次の真の飛躍は、モデルにさらに多くを教えることから来るのではないかもしれません。それは、「モデル」がそもそも決して一つのものではなかったことをついに認めることから来るのかもしれません。