AIシステムの技術追求に関する雑感

最近、私たちのチームはB300 GPUシステムを購入しました。この現代技術の驚異を眺めながら、子供の頃の家庭用PCを思い出します：ダイヤルアップインターネット、CRTモニター、20GBのハードドライブ、CDでいっぱいの引き出し、RAMは1GB未満、CPUは何だったか覚えていませんが、青いIntelのステッカーが剥がれかけていました。父は3.5インチフロッピーディスクで仕事のファイルを持ち帰っていましたが、そのうちの1枚は私が書き込み禁止タブをいじって壊してしまいました。今、私は2.5TBの最先端GPU VRAM（巨大なマルチGPUシステム自体は言うまでもありません）、70TBのNVMe SSD、3TBのRAM、強力なAMD Epycプロセッサを備えたマシンを前にしています。NICのポート容量は、マーベルが製造するような高速ネットワークPHYシステムを文字通り必要とします。私たちが日常生活で現代の技術システムをいかに無頓着に扱っているか、振り返ってみると、本質的に石に考えさせているようなものです。そこで、午前2時に落ち着かない思考の列車から、挑発されざる雑感をお楽しみください。

この業界の多くの人々と同様、私もLLMに夢中になっていますが、それは大げさでチームのAI予算を焼き切るような種類のものではありません。私の頭は絶えず、これが技術、自分自身、家族、社会にとって何を意味するのか考え続けています。チームの半数は、マネージャーに率いられ、AI第一の働き方に憑かれたように取り組み、数年以内に全員が職を失うと信じています。一方、私には現在の業界の状況は誇大広告と虚偽、インフラ建設の一時的な競争の上に成り立っているように感じられます。倫理と道徳は、人間性、批判的思考、持続可能な発展を無視して捨て去られています。そして、いつもの面倒なことはすべて陽気に続いています：政治情勢は日々悪化し、実際の気候もそれに後れを取らず、資源不足、地政学的変化、戦争、ますます拡大する階級不均衡と富の格差などなど。

私が夢見るのは、核融合、自律ロボット工学、より良い人権、おそらくベーシックインカム、資源と技術の民主化、無料で高度な医療などです。リストは続きます。私たちが得ているのは、略奪的でAIを活用した心理学を利用した広告の進歩、インターネット上にすでに十分ある人間が作ったゴミに加えて容赦なく生成されるスロップ、上昇するコスト、資源不足です。私が夢見た未来はどこにあるのでしょう？希望に満ちた10代の頃に思い描き、誰もが物思いと興奮を込めて語った未来は？少なくとも私の仕事は積極的に有害ではなく、倫理的に中立と言えるでしょう。それは単なるエンジニアリングです。しかし、それは何に奉仕しているのでしょうか？私にコントロールできることは何でしょうか？この人生で合理的に達成でき、自分が経験している世界よりも良い状態を残すために、何を努力すべきでしょうか？

知能とは何か？意識とは何か？現在のLLMはそれを持っているのか？人間の脳とその神経経路を再現するには何が必要か？それが私たちが取るべき道なのか、それともAIに到達する根本的に異なる方法があるのか？これこそが、記号AI、オントロジー、知識表現と推論、一階述語論理などの概念が扱うものです。しかし、最初のパーセプトロン、すなわち人間のニューロンをモデル化し、人間の脳の物理的構成要素を再現するように設計された最初の人工ニューロンとは異なり、記号AIの中核単位は一階述語論理と概念的接続であり、これは人間が自分たちの推論プロセスの動作モデルから抽出したものです。そして、人間の知能が誤りやすいのであれば、現実の冷厳な境界によって検証できない私たちが考案した構造も同様に誤りやすいのです。それでも私たち人間は、そのような「推論」を決定論的かつ論理的な方法で行えるという理由だけで、自分たちは人工ニューラルネットワークとは根本的に異なり「優れている」と頑なに信じています。しかし、決定論が知能システムに望まれるものだとは誰が言ったのでしょう？決定論が真の知能の能力を促進する単なる方法だったとしたら？なぜそれが知能自体の必須要件でなければならないのでしょう？反論：記号的アプローチが統計的アプローチよりも優れていると考えた場合、どうなるのでしょうか？すべての人間知識を備えたオントロジーエンジンを設計できたとしたら？それはスケールするでしょうか？数十年の研究はそうではないことを示しています…そして、統計的AIもかつては同じ理由で嘲笑されていました。そして、ハードウェアが長年にわたって桁違いに進歩し、GPUが統計的AIを現実のものにしたことで、状況は一変しました。もし計算技術のブレークスルーが、世界の知識を保持し、包括的なデータベースを処理できる推論エンジンを現実のものとするアーキテクチャを解き放つとしたら？それは真の知能となるでしょうか？

現在の推定によると、人間の脳には約100兆のシナプスがあります。私たちは道具を作り、使い、適応させることに非常に長けています。五感と、超感覚的な能力を持っていると言われています。現在の最先端フロンティアモデルは、およそ数兆のパラメータを持っています。過去数年間の進歩に伴い、ツール使用やマルチモーダル入出力などの能力を高めるように設計されてきました。もし人間をインターネット全体と人類のデジタル知識にさらしたら、ほとんどすべてを保持することはできず、間違いなく何らかの認知的不協和やデジャブを経験するでしょう。では、なぜLLMがそのように振る舞うことを非難するのでしょうか？明らかに、私たちの脳は何千年もかけて発達し、それに伴う独自の歴史的な「訓練」（同じ用語を使うなら）をもたらしています。それが鍵なのでしょうか？インターネットやその他の情報からこの広大な知識の深みをすべて取る代わりに、もしトランスフォーマーベースのモデルを、人類の世代の経験に相当する何かに通すことができたら？それは人間の脳に似るでしょうか？それとも別の何かになるでしょうか？さらに、人間の脳の100兆シナプスに匹敵する100兆パラメータのモデルが作られた場合、それは生の容量の点で真の知能となるでしょうか？それは私たちより優れているでしょうか？私たちはその違いを識別できるでしょうか？

もちろん、規模だけが要因ではありません。トレーニング後のRL手法も大きな貢献をしています。しかし、私はそれを、私たち人間が人生で経験する類似のRLに例えます。学校で教えられ、報酬と罰を経験し、実験し、失敗します。もし100Tのモデルが、世界のテキストではなく、人間の経験と基礎知識に基づいてトレーニングされ、その後、可能な限り現実に近い環境、あるいは直接現実に存在する方法で自由に行動できるとしたら、それが答えでしょうか？

言い換えれば、問題は次のとおりです：どの時点で、自己充足的かつ自己開発と研究を支援できるほど強力なモデルを作成するのでしょうか？どの時点でロボット工学が同様に高度になり、両者を組み合わせるのでしょうか？次の10億ドルの問題は、世界モデルを構築するために、人間の経験をシミュレートするかどうかです。可能な限り近づきたい場合、すでに挙げたものに加えて何が必要でしょうか？感覚情報を与えますか？どのような形式で？それとも、自分で感覚情報を取得する能力を与えますか？そもそも感覚情報とは何でしょうか？私たちが限られた感覚次元しか持っていない場合、何が可能かわからないのに、どうやってそれ以上のものを作れるのでしょうか？知識を与えますか？どのような種類？それとも、自分で知識を取得する能力を与えますか？人類の知識自体が不完全で断片的で曖昧であるならば、私たちは知識を与えるための最良の指導者と言えるでしょうか？

現在のLLMがいわゆるツール使用とマルチモーダル能力を持ち、すでにそこに到達しつつあると言うなら、世界モデルを作るために何が不足しているのでしょうか？私たちが持つ自由度を超えた、完全に制限のない自律性？自身を再設計、再作成、洗練する能力？私たち自身が非常に制限されており、毎日ほんの少しでも良くなろうと努力しているその能力？

以下は、私を知る不幸に遭った親しい友人からの反論、応答、議論です。

>>>> 決定論とは、問題に定義された答えがある場合です。2+2は常に4であり、2+2が確率0.99で4になり得ると推論し始めたら、どうやって知能を達成できるのでしょうか？決定論と論理的推論は、問題を解決する正しい方向に進むために必要です。

私：その通りですが、なぜそれがモデルの一部でなければならないのでしょうか？神経科学によれば、私たちの脳には多くの異なる領域があり、それぞれが記憶、論理、感情、運動制御、生体制御など専用の機能を持っています。同様に、現在のプロダクショングレードのAIシステムは、すでに決定論を推論エンジンから分離しています（ツール使用の形で）。なぜなら、明らかにニューラルネットワークはそれに適していないだけでなく、現代のコンピュータは通常の計算において私たちよりもはるかに効率的だからです。私たちは、必要なツールのアーキテクチャと構成要素を設計する必要があるだけです。記憶についても同様です。知能モデルに記憶を処理させる代わりに、計算効率が高く慣用的な方法で記憶をオフロードする方法を見つけなければなりません。なぜなら、繰り返しますが、現代のコンピュータは生の記憶容量と速度において私たちよりもはるかに優れているからです。私たちは、知能システムを最善の方法でサポートする適切なアーキテクチャと設計を見つける必要があるだけです。それはフラットファイルなのか、ベクトル空間表現と意味検索なのか、グラフベースの記憶なのか？これらすべてのパラダイム、あるいはそれ以上のハイブリッドが必要だと思います。そしてここでも、現代のシステムはすでにこの道を歩み始めています。現代のAIシステムは、内部に何らかの形の意味インデックスと検索を持っています。今のところベクトル空間表現のみだと思います。したがって、決定論は必要です。しかし、私たちの脳と同様に、それが他の部分と同様に効率的でないなら、同じメカニズムに組み込む必要はありません。コアの推論エンジンは決定論を処理する必要はありませんが、代わりにそれを行うツールを使用する能力が必要です。まるで私たちが電卓やコンピュータを使うように。

>>>> 確かに、決定論は今日モデルの外部で実現されています（ハーネスを通じて、ある程度信頼性を確保しています）が、最終的にはif-else文の塊ではなく、それが処理すべきではないでしょうか？そして脳でさえ、異なる作業を行う異なる部分があります。LLMはここで脳であり、推論エンジン、論理エンジン、決定論的エンジンを持つことができますが、これらはハードコードされるべきではありません。

記憶について、その通りです。

>>>> 記号的アプローチと統計的アプローチの違いは何ですか？これらの知識表現は内部でニューロンを使用していますか？一階述語論理と概念的接続は、これらの表現をより良くする方法ではないのですか？つまり、機械の知覚を改善するために？

私：記号的アプローチは、論理ベースの推論エンジンに過ぎず、統計的アプローチとは何の関係もありません。論理ベースの推論は、概念とその数学的表現を扱い、真であるとわかっていることを直接モデルにエンコードします。オントロジーと知識グラフを参照してください。記号AIのアプローチ全体は、確率的な方法でパターンをエンコードして検出するのではなく、体系的、概念的、論理的な方法で行うことです。10億の数学問題をモデルにトレーニングし、2+2=4のような問題を解けることを期待しても、おそらく単純な計算を除いては不可能であることがわかっています。なぜなら、ニューラルネットワークの基本的な性質上…