AI News HubLIVE
站內改寫1 分鐘閱讀

TheSequence意見#904:研究時代被高估,人工智慧工程正在獲勝

Ilya Sutskever將AI歷史分為研究、擴充套件和再次研究時代。然而,當前前沿模型仍基於Transformer,改進來自資料、上下文長度、強化學習等工程最佳化。作者認為,真正突破來自Transformer周圍的學習迴圈,而非替換它。

來源TheSequence作者: Jesus Rodriguez

最近,Ilya Sutskever對現代人工智慧的歷史做出了一段簡潔的梳理。他認為,從2012年到2020年左右,該領域處於研究時代;2020年至2025年,進入了擴充套件時代;而現在,我們正在迴歸研究——只是這次“帶著大型計算機”。

這種分期頗具吸引力,但也引出了一個直接的問題。

開啟2026年幾乎任何前沿模型的釋出說明,架構圖看起來都出奇地相似。機器中仍然存在某個Transformer,通常透過混合專家系統進行路由。主要的改進通常在其他方面:更好的資料、更長的上下文、更強的強化學習、合成任務、工具使用、記憶、驗證、自適應推理預算以及智慧體編排。

這看起來並不像新神經物種的出現,而更像一級方程式賽車。賽車仍然有四個輪子和一臺發動機,但巨大的進步卻來自空氣動力學、能量回收、輪胎化學、遙測、軟體和維修區策略。底盤很重要,但圍繞它的系統越來越決定比賽的勝負。

那麼,我們正處於哪個時代:研究還是工程?

可能兩者都是。研究時代已經迴歸,但其中許多研究如今表現為工業規模的工程。

“擴充套件並未結束,它逃逸了。”

吞噬該領域的配方

讓我們更深入地探討。Transformer的持續主導地位並非停滯,而是平臺效應。就像20世紀初內燃機被不斷改進一樣,Transformer周圍的工程創新正在釋放其全部潛力。資料質量、訓練動態和推理效率的進步,遠比架構革命更能推動當前AI能力的提升。

事實上,一些最重要的突破來自對學習迴圈的重新思考。從人類反饋中進行強化學習、合成資料生成以及自適應計算分配,都使Transformer變得更加智慧。這些並非替代品,而是增強劑。

因此,我們不應低估工程的價值。研究帶來了Transformer,但工程正在贏得實際應用。未來的AI歷史學家可能會將這一時期標記為工程時代,那時基礎模型成為基礎設施,而差異化優勢來自於系統層面的最佳化。