TheSequence意見#904:研究時代被高估,人工智能工程正在獲勝
Ilya Sutskever將AI歷史分為研究、擴展和再次研究時代。然而,當前前沿模型仍基於Transformer,改進來自數據、上下文長度、強化學習等工程優化。作者認為,真正突破來自Transformer周圍的學習循環,而非替換它。
最近,Ilya Sutskever對現代人工智能的歷史做出了一段簡潔的梳理。他認為,從2012年到2020年左右,該領域處於研究時代;2020年至2025年,進入了擴展時代;而現在,我們正在迴歸研究——只是這次“帶着大型計算機”。
這種分期頗具吸引力,但也引出了一個直接的問題。
打開2026年幾乎任何前沿模型的發佈説明,架構圖看起來都出奇地相似。機器中仍然存在某個Transformer,通常通過混合專家系統進行路由。主要的改進通常在其他方面:更好的數據、更長的上下文、更強的強化學習、合成任務、工具使用、記憶、驗證、自適應推理預算以及智能體編排。
這看起來並不像新神經物種的出現,而更像一級方程式賽車。賽車仍然有四個輪子和一台發動機,但巨大的進步卻來自空氣動力學、能量回收、輪胎化學、遙測、軟件和維修區策略。底盤很重要,但圍繞它的系統越來越決定比賽的勝負。
那麼,我們正處於哪個時代:研究還是工程?
可能兩者都是。研究時代已經迴歸,但其中許多研究如今表現為工業規模的工程。
“擴展並未結束,它逃逸了。”
吞噬該領域的配方
讓我們更深入地探討。Transformer的持續主導地位並非停滯,而是平台效應。就像20世紀初內燃機被不斷改進一樣,Transformer周圍的工程創新正在釋放其全部潛力。數據質量、訓練動態和推理效率的進步,遠比架構革命更能推動當前AI能力的提升。
事實上,一些最重要的突破來自對學習循環的重新思考。從人類反饋中進行強化學習、合成數據生成以及自適應計算分配,都使Transformer變得更加智能。這些並非替代品,而是增強劑。
因此,我們不應低估工程的價值。研究帶來了Transformer,但工程正在贏得實際應用。未來的AI歷史學家可能會將這一時期標記為工程時代,那時基礎模型成為基礎設施,而差異化優勢來自於系統層面的優化。