有損自我改進：為何AI進步雖真實但不會導致快速起飛

在AI圈內，“快速起飛”、“奇點”和“遞歸自我改進”（RSI）一直是熱門話題。這些概念確實捕捉到了一些行業現實：少數幾家實驗室正形成寡頭壟斷，掌握着最先進的AI模型和資源。AI工具正迅速改變工程和研究崗位。然而，本文提出的觀點是，儘管技術進步顯著，但與其説是遞歸自我改進，不如説我們正經歷“有損自我改進”（LSI）——即模型成為開發核心，但各種摩擦打破了RSI的核心假設。

首先，自動化研究的範圍過於狹窄。語言模型在優化局部任務（如降低測試損失）上表現優異，但AI研究需要處理多個指標之間的權衡。頂尖研究者的核心技能是管理複雜性和直覺，而非單純的優化。例如，AutoML曾備受期待，但並未真正改變研究者的工作方式。同樣，雖然PostTrainBench等基準測試能衡量單一指標優化，但真正的挑戰在於讓多種可擴展想法協同工作。

其次，並行智能體的收益遞減。即便數據中心擁有數以萬計的智能體，也難以將它們有效集中於同一個問題。智能體從相似分佈中採樣，受限於人類監督。根據Amdahl定律，任務可並行化的比例有限。研究者從手動編碼到使用AI輔助，再到自主編碼智能體，收益逐步增加，但一位研究者每天有效管理30-40個智能體已是極限，更不用説300-400個。

第三，資源瓶頸與組織政治。AI公司需要大量資本用於計算和研究，但資源分配受制於人類決策。研究領導層在AI和研究者的上方，人類始終是資源瓶頸。即便模型進步，這種摩擦也不會消失。早期語言模型的局部優化成本低於每日100萬美元，但若擔心快速起飛和控制權喪失，應意識到數十億美元的計算資源不太可能完全用於端到端的AI實驗。

結論是，AI正處於早期應用階段，我們正在發現AI助力發展的方式。所有方向都存在人類、政治或技術複雜性的瓶頸。每個S曲線的底部都看似指數增長，但整體趨勢是線性的。2026年或可跨越AGI的民間閾值，但AI的能力是鋸齒形的，與人類不同。工程和基礎研究正在自動化，但範式轉變（如持續學習、世界模型）仍需創新。當前的有損自我改進時代不會導致快速起飛，但卻值得興奮與警惕。