開放模型生態系統如何放大優勢
文章指出,前沿模型的算力約80%用於研發而非最終訓練。以中國為代表的開放生態系統通過共享減少重複研發成本。開放模型降低了未來開發成本,但部署成本高於閉源託管方案。作者呼籲建立開放模型聯盟以維持競爭力。
在構建前沿模型的過程中,大部分計算資源(約80%)實際上被用於研究和開發,而非最終模型的一次性端到端訓練。這一發現來自兩項近期研究:Ai2對Olmo 3開發的記錄,以及Epoch AI對多家前沿實驗室公共成本文檔的分析。在中國這樣的生態系統中,所有主要參與者都採用開放模式,這種成本結構優勢使得實驗室能夠在比外界預期更長時間內持續建設。
與開源軟件(OSS)不同,開源AI的幾乎所有成本都落在模型開發者身上。儘管如此,開放發佈模型確實帶來了巨大的好處——它不僅降低了開發者自身的未來開發和部署成本,更重要的是降低了整個生態系統的成本。然而,開放AI模型、工具和基礎設施帶來的成本降低主要體現在開發階段,而非即插即用的產品級成本削減。對於僅需最小化迭代或內部開發的現成AI用户而言,使用開放模型往往更昂貴;而閉源集成託管解決方案則通過通用規模經濟實現低價格。
中國實驗室通過極其詳盡的技術報告和實驗室間的有意知識共享,有效地為同行公司降低了風險,減少了他們對資源的投入。要使這種模式奏效,目前AI公司常見的將開放源碼工具分叉並演化為內部專用版本的做法可能需逐漸消失。例如,MoE模型的大規模RL訓練目前尚無真正開放的配方。開放的堆棧越完整,共享的信息越多,未來迭代的成本就越低。
同樣的原因也解釋了為何不存在一個所有人都能共享的單一基礎模型。如今打造最佳模型已成為整合硬件、數據和基礎設施的藝術,同時需以較高速度演進以跟上前沿性能。考慮到LLM性能在未來幾年將持續提升,這種平衡短期內不太可能改變。這正是作者此前提出開放模型聯盟必要性的原因——這種共享資源效率更高,可能成為未來以開放模型競爭的唯一財務可行方式。
當然,閉源實驗室也能從開放前沿模型公司的研究中獲益,但由於它們通常在開發樹上領先數月,因此從共享洞察中獲益較少。開源社區越強大,各公司在同一帕累託性能曲線上保持相對接近的成本激勵就越大。
這一關於開發成本差異的認知——即技術是過程導向而非共享基礎——源自作者最近中國之行總結中收到的問題:中國生態系統是否有機會收斂於單一基礎模型以節省成本?後續問題涉及中國開放權重公司是否以戰略有意義的方式使用開源。還有更多相關問題值得探討,尤其是在理解不同生態系統的運營模式時。
作者還推薦了Bill Gurley與Dan Wang(《Breakneck》作者)以及Patrick McGee(《Apple in China》作者)的訪談,該書深入比較了美中技術文化的最大差異。過去一年,中國AI生態系統中湧現出強烈的願望,希望影響西方受眾和思維方式——這也是SAIL團隊最近訪華獲得如此廣泛訪問權限的原因。