序列觀點#868：遞迴是新的擴充套件定律
在AI時代，擴充套件定律曾驅動進步，但現在遞迴——模型或系統自我審視、修正、搜尋和模擬的能力——正在成為新的擴充套件維度。這一轉變標誌著從單次前向傳播到迴圈計算的正規化轉移。
文章情報
要點
- 傳統AI進步依賴於更大模型和更多資料，但遞迴正成為新前沿。
- 遞迴使模型能夠反覆改進答案，而非一次性輸出。
- 計算單位從前向傳播轉向迴圈，可能定義下一波AI突破。
為什麼重要
這條新聞值得關注，因為傳統AI進步依賴於更大模型和更多資料，但遞迴正成為新前沿。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在大多數現代AI時代，進步一直遵循一個看似簡單的配方：讓模型更大，用更多資料訓練，投入更多計算。這一公式催生了Transformer時代、基礎模型時代以及當前的大語言模型浪潮。擴充套件定律賦予了該領域近乎工業化的節奏。損失曲線成為路線圖，計算預算成為戰略。前沿往往可以用一個簡單問題來描述：我們能走多大規模？
然而，最近最有趣的AI進展開始讓人感覺不那麼線性了。它不再僅僅是構建一個更大的模型，以便一次性給出更好的答案。相反，前沿越來越關注那些能夠回顧、修正、搜尋、模擬、批評和改進的模型和系統。重要的計算單位正在從前向傳播轉變為迴圈。
這一轉變暗示了一個挑釁性的觀點：遞迴可能是下一個擴充套件定律。
遞迴允許模型在其輸出上進行迭代，反思自身生成的內容，並探索多個路徑。這種方法已經開始在推理、程式碼生成和智慧體計算等領域取得突破，而且它並不依賴於指數級增長的引數數量。相反，它依賴於計算在推理過程中的重複應用。
如果遞迴確實成為新的擴充套件定律，那麼AI研究的重心將從訓練更大的模型轉向設計更好的迴圈——在推理過程中利用額外計算的有效結構。這可能從根本上改變我們衡量進展的方式：不再是看何時釋出下一個10倍引數的模型，而是看何時出現能夠有效自我改進的新架構。
這篇觀點文章提醒我們，AI進步的下一階段可能與過去不同。擴充套件定律並未消失，但它們正在被遞迴等原理所補充和增強。隨著我們探索這一新領域，迴圈的計算價值可能成為最重要的指標。