本文にスキップ
AI News HubLIVE
サイト内リライト3 分で読了

オープンモデルエコシステムがどのように増幅するか

記事の要約

本記事では、フロンティアモデルの計算資源の約80%が研究開発に使用され、最終トレーニングではないと説明。中国のようなオープンエコシステムは重複する研究開発コストを削減する。オープンモデルは将来の開発コストを下げるが、導入コストはクローズドソリューションより高い。著者は競争力維持のためにオープンモデルコンソーシアムの必要性を主張。

ソースInterconnects (Nathan Lambert)著者: Nathan Lambert
オープンモデルエコシステムがどのように増幅するか
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

フロンティアモデルを構築する際、計算資源の約80%は研究開発に使用され、最終モデルのエンドツーエンドトレーニングではないことが、Ai2によるOlmo 3開発の記録とEpoch AIによる複数のフロンティアラボのコスト文書の分析から明らかになった。中国のようなエコシステムでは、主要プレイヤー全員がオープンであり、このコスト構造の優位性により、ラボは外部観測者の予想よりも長く構築を続けることができる。

オープンソースソフトウェア(OSS)とは異なり、オープンソースAIのほとんどすべてのコストはモデル開発者が負担する。それでも、モデルをオープンに公開することには大きな利点があり、開発者自身の将来の開発・導入コストを削減するだけでなく、エコシステム全体のコストを削減する。ただし、オープンAIモデル、ツール、インフラによるコスト削減は主に開発段階に限定され、製品レベルの即時的なコスト削減ではない。最小限の反復や内部開発で既製のAIを使用する場合、オープンモデルはほとんどの場合より高価になる。クローズドな統合ホスティングソリューションは、汎用利用の規模の経済により低価格を実現する。

中国のラボは、非常に詳細なテクニカルレポートとラボ間の意図的な知識共有を通じて、同業他社のリスクを軽減し、リソース投資を削減している。このモデルを機能させるには、現在AI企業がオープンソースツールをフォークして内部専用バージョンに進化させる一般的な慣行が衰退する必要があるだろう。例えば、MoEモデルの大規模RLトレーニングには真にオープンなレシピは存在しない。スタックがよりオープンで、より多くの情報が共有されるほど、将来の反復コストは削減される。

同じ理由で、誰もが構築できる単一の共有ベースモデルは存在しない。今日の最良のモデルを構築することは、ハードウェア、データ、インフラを統合し、それらを比較的高いレートで進化させてフロンティアのパフォーマンスに追従する技術となっている。LLMのパフォーマンスが今後数年間着実に向上し続ける兆候があるため、この均衡が近い将来に変化することは期待できない。これこそ、著者がオープンモデルコンソーシアムの必要性を主張した理由である。この共有リソースははるかに効率的であり、将来のフロンティア規模でオープンモデルで競争するための唯一の財務的に実行可能な方法になる可能性がある。

もちろん、クローズドラボもオープンフロンティアモデル企業の調査から利益を得ることができるが、開発ツリーで数ヶ月先行していると仮定すると、共有された洞察から得られる利益は自然に少なくなる。オープンソースコミュニティが強力であればあるほど、各企業が同じパレート性能曲線上で比較的近接しているコストインセンティブが高まる。

この開発コストの違い(技術は共有基盤ではなくプロセス指向である)の認識は、著者が最近の中国訪問の要約で受けた質問から派生したものである。質問は「中国のエコシステムがコスト削減のために単一のベースモデルに収束する可能性はあるか?」というものだった。そのフォローアップとして、中国のオープンウェイト企業が戦略的に意味のある方法でオープンソースを活用しているかどうかが問われた。エコシステムの異なる運用パターンを理解する上で、さらに多くの有用な質問がある。

著者は、Bill GurleyによるDan Wang(『Breakneck』著者)とPatrick McGee(『Apple in China』著者)のインタビューを強く推薦している。このインタビューは、米国と中国の技術文化の最大の違いについて深く考察している。過去1年、中国のAIエコシステムからは、西洋のオーディエンスと思考に影響を与えたいという強い願望が湧き上がっている。これが、SAILグループが最近の旅行でこれほど多くの企業の上級リーダーシップと話す機会を得た明確な理由である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 計算資源の約80%は研究開発に使用され、最終モデルトレーニングではない。
  • 中国のオープンエコシステムはラボ間の重複する研究開発を削減。
  • オープンモデルは将来の開発コストを削減するが、導入コストは高い。
  • 持続的な競争力にはオープンモデルコンソーシアムが必要かもしれない。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。