フロンティアAI企業は二度と能力の最前線に達することはない
この記事は、集中型のフロンティアAIモデルが、より小型のAIモデルのネットワーク(アンサンブル)に速度、精度、コストで追い越されつつあると論じる。この変化はアンサンブル手法によって推進され、機械学習の基本原理に基づいて不可避である。著者はこれをメインフレームからネットワーク化されたPCへの移行に例えている。
近年、AI業界では、より大規模なモデルが少数のプレイヤーによって支配される未来が当然視されてきました。しかし、本記事の著者はこの見解が根本的に誤っていると主張します。データが示すように、複数の小規模AIモデルからなるネットワークは、速度、精度、コストのすべてにおいて、Fable/Mythosを含むあらゆるフロンティアAIシステムを凌駕しています。これは、1960年代にメインフレームがネットワーク化されたPCに取って代わられた歴史的転換に似ています。
経済的ゲームの終焉
能力の面では、ニューラルネットワークのアンサンブルは、単一のフロンティアモデルよりも高速で、安価で、強力です。著者は6ヶ月前に自らこれを検証し、今やインターネット上の至る所で確認されています。例えば、あるアンサンブルモデルは、最高のモデルの精度を上回りながら、半分のコストでそれを実現しました。鍵となるのは、異なるモデルが異なる誤りを犯すため、それらを統合することで誤りが相殺され、全体の精度が向上するという点です。これにより、単一のフロンティアAIシステムが再び能力の最前線を独占することは不可能になりました。
速度では、オープンソースモデルが高速であることが多く、それはサービス提供者が超高速で安価な結果を提供することに専念しているためです。OpenRouterの独立した評価がこれを裏付けています。コスト面では、オープンソースモデルは推論コストのみで提供され、訓練費用は無料です。さらに、現在Fableレベルの性能を得る最も安価な方法は、Fable自身ではなく、GPTとOpusなどの組み合わせです。このアンサンブルは再帰的に適用でき、より安価なモデルとフロンティアモデルを組み合わせ、さらにオープンソースモデルと組み合わせることで、精度とコストの優位性が拡大します。
集中型AIは「ヒュドラ効果」に対応できません。集中型AIが強力なモデルをリリースするたびに、ネットワークがそれを取り込み、さらに強力になります。これは、20世紀後半にインターネットがメインフレームを接続し、ネットワークが常に単一のマシンよりも強力であったのと同様です。
基本原理:精度、コスト、速度
精度の優位性は機械学習の基本原則に基づいています。異なるモデルは異なる誤りを犯すため、加重アンサンブルはほぼ常に精度を向上させます。この手法はかつて研究会議で禁止されたほど効果的でした。コストの優位性は効率化に起因します。現在のAIモデルは、図書館で毎回すべての本を読む司書のようなものです。理想的な効率化はインデックス付けです。セクション、棚、本、章、段落と絞り込むことで、桁違いの効率向上が可能です。ネットワーク上の各モデルは「ニューラルネットワークのキャッシュ」であり、ルーターがインデックスの役割を果たします。速度に関しては、アンサンブルは最初の応答までの時間(TTFT)で若干の遅延が生じるものの、全体のトークン処理能力は変わりません。なぜなら、モデルが並列処理され、ストリーミング出力されるからです。
地政学的ゲームの終焉
2010〜2026年は企業レベルのAI:能力は最大企業が集めるデータ、計算力、人材に依存していました。2026年以降は国家レベルのAIに移行するかに見えましたが、実際には世界レベルのAIがすでに出現しています。例えば、米国政府がFableを禁止した直後、OpenRouterはFableを超える品質のネットワーク統合を提供しました。これはARPANETがメインフレームを接続したのと同じであり、ネットワークの力は単一ノードを凌駕します。最終的に、AIの競争は企業や国家間ではなく、グローバルなニューラルネットワークのネットワークによって決まるでしょう。