フロンティアモデルを構築する際、計算資源の約80%は研究開発に使用され、最終モデルのエンドツーエンドトレーニングではないことが、Ai2によるOlmo 3開発の記録とEpoch AIによる複数のフロンティアラボのコスト文書の分析から明らかになった。中国のようなエコシステムでは、主要プレイヤー全員がオープンであり、このコスト構造の優位性により、ラボは外部観測者の予想よりも長く構築を続けることができる。
オープンソースソフトウェア(OSS)とは異なり、オープンソースAIのほとんどすべてのコストはモデル開発者が負担する。それでも、モデルをオープンに公開することには大きな利点があり、開発者自身の将来の開発・導入コストを削減するだけでなく、エコシステム全体のコストを削減する。ただし、オープンAIモデル、ツール、インフラによるコスト削減は主に開発段階に限定され、製品レベルの即時的なコスト削減ではない。最小限の反復や内部開発で既製のAIを使用する場合、オープンモデルはほとんどの場合より高価になる。クローズドな統合ホスティングソリューションは、汎用利用の規模の経済により低価格を実現する。
中国のラボは、非常に詳細なテクニカルレポートとラボ間の意図的な知識共有を通じて、同業他社のリスクを軽減し、リソース投資を削減している。このモデルを機能させるには、現在AI企業がオープンソースツールをフォークして内部専用バージョンに進化させる一般的な慣行が衰退する必要があるだろう。例えば、MoEモデルの大規模RLトレーニングには真にオープンなレシピは存在しない。スタックがよりオープンで、より多くの情報が共有されるほど、将来の反復コストは削減される。
同じ理由で、誰もが構築できる単一の共有ベースモデルは存在しない。今日の最良のモデルを構築することは、ハードウェア、データ、インフラを統合し、それらを比較的高いレートで進化させてフロンティアのパフォーマンスに追従する技術となっている。LLMのパフォーマンスが今後数年間着実に向上し続ける兆候があるため、この均衡が近い将来に変化することは期待できない。これこそ、著者がオープンモデルコンソーシアムの必要性を主張した理由である。この共有リソースははるかに効率的であり、将来のフロンティア規模でオープンモデルで競争するための唯一の財務的に実行可能な方法になる可能性がある。
もちろん、クローズドラボもオープンフロンティアモデル企業の調査から利益を得ることができるが、開発ツリーで数ヶ月先行していると仮定すると、共有された洞察から得られる利益は自然に少なくなる。オープンソースコミュニティが強力であればあるほど、各企業が同じパレート性能曲線上で比較的近接しているコストインセンティブが高まる。
この開発コストの違い(技術は共有基盤ではなくプロセス指向である)の認識は、著者が最近の中国訪問の要約で受けた質問から派生したものである。質問は「中国のエコシステムがコスト削減のために単一のベースモデルに収束する可能性はあるか?」というものだった。そのフォローアップとして、中国のオープンウェイト企業が戦略的に意味のある方法でオープンソースを活用しているかどうかが問われた。エコシステムの異なる運用パターンを理解する上で、さらに多くの有用な質問がある。
著者は、Bill GurleyによるDan Wang(『Breakneck』著者)とPatrick McGee(『Apple in China』著者)のインタビューを強く推薦している。このインタビューは、米国と中国の技術文化の最大の違いについて深く考察している。過去1年、中国のAIエコシステムからは、西洋のオーディエンスと思考に影響を与えたいという強い願望が湧き上がっている。これが、SAILグループが最近の旅行でこれほど多くの企業の上級リーダーシップと話す機会を得た明確な理由である。