序列觀點#868：遞歸是新的擴展定律
在AI時代，擴展定律曾驅動進步，但現在遞歸——模型或系統自我審視、修正、搜索和模擬的能力——正在成為新的擴展維度。這一轉變標誌着從單次前向傳播到循環計算的範式轉移。
文章情報
要點
- 傳統AI進步依賴於更大模型和更多數據，但遞歸正成為新前沿。
- 遞歸使模型能夠反覆改進答案，而非一次性輸出。
- 計算單位從前向傳播轉向循環，可能定義下一波AI突破。
為甚麼重要
這條新聞值得關注，因為傳統AI進步依賴於更大模型和更多數據，但遞歸正成為新前沿。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在大多數現代AI時代，進步一直遵循一個看似簡單的配方：讓模型更大，用更多數據訓練，投入更多計算。這一公式催生了Transformer時代、基礎模型時代以及當前的大語言模型浪潮。擴展定律賦予了該領域近乎工業化的節奏。損失曲線成為路線圖，計算預算成為戰略。前沿往往可以用一個簡單問題來描述：我們能走多大規模？
然而，最近最有趣的AI進展開始讓人感覺不那麼線性了。它不再僅僅是構建一個更大的模型，以便一次性給出更好的答案。相反，前沿越來越關注那些能夠回顧、修正、搜索、模擬、批評和改進的模型和系統。重要的計算單位正在從前向傳播轉變為循環。
這一轉變暗示了一個挑釁性的觀點：遞歸可能是下一個擴展定律。
遞歸允許模型在其輸出上進行迭代，反思自身生成的內容，並探索多個路徑。這種方法已經開始在推理、代碼生成和智能體計算等領域取得突破，而且它並不依賴於指數級增長的參數數量。相反，它依賴於計算在推理過程中的重複應用。
如果遞歸確實成為新的擴展定律，那麼AI研究的重心將從訓練更大的模型轉向設計更好的循環——在推理過程中利用額外計算的有效結構。這可能從根本上改變我們衡量進展的方式：不再是看何時發佈下一個10倍參數的模型，而是看何時出現能夠有效自我改進的新架構。
這篇觀點文章提醒我們，AI進步的下一階段可能與過去不同。擴展定律並未消失，但它們正在被遞歸等原理所補充和增強。隨着我們探索這一新領域，循環的計算價值可能成為最重要的指標。