有損自我改進：為何AI進步雖真實但不會導致快速起飛

在AI圈內，“快速起飛”、“奇點”和“遞迴自我改進”（RSI）一直是熱門話題。這些概念確實捕捉到了一些行業現實：少數幾家實驗室正形成寡頭壟斷，掌握著最先進的AI模型和資源。AI工具正迅速改變工程和研究崗位。然而，本文提出的觀點是，儘管技術進步顯著，但與其說是遞迴自我改進，不如說我們正經歷“有損自我改進”（LSI）——即模型成為開發核心，但各種摩擦打破了RSI的核心假設。

首先，自動化研究的範圍過於狹窄。語言模型在最佳化區域性任務（如降低測試損失）上表現優異，但AI研究需要處理多個指標之間的權衡。頂尖研究者的核心技能是管理複雜性和直覺，而非單純的最佳化。例如，AutoML曾備受期待，但並未真正改變研究者的工作方式。同樣，雖然PostTrainBench等基準測試能衡量單一指標最佳化，但真正的挑戰在於讓多種可擴充套件想法協同工作。

其次，並行智慧體的收益遞減。即便資料中心擁有數以萬計的智慧體，也難以將它們有效集中於同一個問題。智慧體從相似分佈中取樣，受限於人類監督。根據Amdahl定律，任務可並行化的比例有限。研究者從手動編碼到使用AI輔助，再到自主編碼智慧體，收益逐步增加，但一位研究者每天有效管理30-40個智慧體已是極限，更不用說300-400個。

第三，資源瓶頸與組織政治。AI公司需要大量資本用於計算和研究，但資源分配受制於人類決策。研究領導層在AI和研究者的上方，人類始終是資源瓶頸。即便模型進步，這種摩擦也不會消失。早期語言模型的區域性最佳化成本低於每日100萬美元，但若擔心快速起飛和控制權喪失，應意識到數十億美元的計算資源不太可能完全用於端到端的AI實驗。

結論是，AI正處於早期應用階段，我們正在發現AI助力發展的方式。所有方向都存在人類、政治或技術複雜性的瓶頸。每個S曲線的底部都看似指數增長，但整體趨勢是線性的。2026年或可跨越AGI的民間閾值，但AI的能力是鋸齒形的，與人類不同。工程和基礎研究正在自動化，但正規化轉變（如持續學習、世界模型）仍需創新。當前的有損自我改進時代不會導致快速起飛，但卻值得興奮與警惕。