有损自我改进:为何AI进步虽真实但不会导致快速起飞
本文探讨了AI领域的递归自我改进(RSI)概念与现实中的有损自我改进(LSI)之间的差异。作者认为,尽管AI模型在持续进步,但由于自动化研究范围狭窄、多智能体并行收益递减、资源瓶颈与组织政治等摩擦,进步曲线更可能是线性的而非指数级的,不会出现快速起飞或奇点。
在AI圈内,“快速起飞”、“奇点”和“递归自我改进”(RSI)一直是热门话题。这些概念确实捕捉到了一些行业现实:少数几家实验室正形成寡头垄断,掌握着最先进的AI模型和资源。AI工具正迅速改变工程和研究岗位。然而,本文提出的观点是,尽管技术进步显著,但与其说是递归自我改进,不如说我们正经历“有损自我改进”(LSI)——即模型成为开发核心,但各种摩擦打破了RSI的核心假设。
首先,自动化研究的范围过于狭窄。语言模型在优化局部任务(如降低测试损失)上表现优异,但AI研究需要处理多个指标之间的权衡。顶尖研究者的核心技能是管理复杂性和直觉,而非单纯的优化。例如,AutoML曾备受期待,但并未真正改变研究者的工作方式。同样,虽然PostTrainBench等基准测试能衡量单一指标优化,但真正的挑战在于让多种可扩展想法协同工作。
其次,并行智能体的收益递减。即便数据中心拥有数以万计的智能体,也难以将它们有效集中于同一个问题。智能体从相似分布中采样,受限于人类监督。根据Amdahl定律,任务可并行化的比例有限。研究者从手动编码到使用AI辅助,再到自主编码智能体,收益逐步增加,但一位研究者每天有效管理30-40个智能体已是极限,更不用说300-400个。
第三,资源瓶颈与组织政治。AI公司需要大量资本用于计算和研究,但资源分配受制于人类决策。研究领导层在AI和研究者的上方,人类始终是资源瓶颈。即便模型进步,这种摩擦也不会消失。早期语言模型的局部优化成本低于每日100万美元,但若担心快速起飞和控制权丧失,应意识到数十亿美元的计算资源不太可能完全用于端到端的AI实验。
结论是,AI正处于早期应用阶段,我们正在发现AI助力发展的方式。所有方向都存在人类、政治或技术复杂性的瓶颈。每个S曲线的底部都看似指数增长,但整体趋势是线性的。2026年或可跨越AGI的民间阈值,但AI的能力是锯齿形的,与人类不同。工程和基础研究正在自动化,但范式转变(如持续学习、世界模型)仍需创新。当前的有损自我改进时代不会导致快速起飞,但却值得兴奋与警惕。