递归自我改进的经济学
Parker和Tom等9位经济学家合著了一篇关于递归自我改进(RSI)的论文,通过简单模型分析AI如何加速AI研发。文章强调了RSI的不同定义、反馈效应强度对能力加速的影响,以及实验室应发布更多相关数据。
递归自我改进(RSI)的经济学分析
近期,Parker和Tom与另外7位经济学家共同发表了一篇题为“递归自我改进的经济学”的论文。该论文通过一系列简单模型,探讨了人工智能如何加速自身研发进程,并提供了重要的背景和见解。
论文指出,关注递归自我改进(RSI)的主要目的是为了预测AI能力的发展趋势。METR组织的优先任务是评估前沿AI开发带来的风险,而其中一个关键输入便是未来AI系统的能力水平。过去五年,AI能力增长迅速,因此需要判断这种增长是否会进一步加速。
然而,RSI这一术语在学界存在多种定义,导致大量混淆。尽管所有人都同意RSI指的是模型能力对模型改进的反馈,但一些人认为只要存在任何反馈即可称为RSI(如Karpathy、Patel、Musk以及LessWrong社区),而另一些人则坚持认为只有当反馈足够强以引发超指数增长(如Lambert)或完全自主增长(如Favaro & Clark)时才可称为RSI。为避免混淆,论文避免在技术层面使用该术语,转而专注于反馈效应的强度,以及是否足以实现“自我维持的加速”。
能力加速的效果取决于反馈效应的强度。论文提供了一种简单的方法,通过将整体反馈效应分解为各个独立效应来量化其强度。其中,最不确定的关系是模型能力的提升如何影响算法进步的速度。
尽管存在多种可能导致加速停滞的因素,如数据、训练计算、推理计算或实验的瓶颈,以及算法特定能力或研发特定能力的限制,但论文认为这些证据并不充分,因此无法排除能力持续快速加速的可能性。
此外,论文指出实验室在未来可以发布更多与RSI相关的有用数据。过去六个月中,实验室已经公开了一些关于AI对AI研发影响的数据(如Mythos模型卡、GPT-5.6模型卡以及Favaro & Clark的研究),但仍有许多有价值的数据尚未公布。论文为此提出了一份具体的数据公布愿望清单。
最后,论文包含了一个参数估计的校准,但这一校准非常粗略,仅作为初稿。作者希望继续迭代定量模型,以提供更具操作性的RSI模型。同时,他们也关注可能导致能力减速的因素,例如关于训练计算增长放缓的研究。