AI News HubLIVE
站内改写

序列观点#868:递归是新的扩展定律

在AI时代,扩展定律曾驱动进步,但现在递归——模型或系统自我审视、修正、搜索和模拟的能力——正在成为新的扩展维度。这一转变标志着从单次前向传播到循环计算的范式转移。

文章情报

工程师中级

要点

  • 传统AI进步依赖于更大模型和更多数据,但递归正成为新前沿。
  • 递归使模型能够反复改进答案,而非一次性输出。
  • 计算单位从前向传播转向循环,可能定义下一波AI突破。

为什么重要

这条新闻值得关注,因为传统AI进步依赖于更大模型和更多数据,但递归正成为新前沿。

技术影响

可能影响模型选型、推理成本、产品能力和评测基准。

在大多数现代AI时代,进步一直遵循一个看似简单的配方:让模型更大,用更多数据训练,投入更多计算。这一公式催生了Transformer时代、基础模型时代以及当前的大语言模型浪潮。扩展定律赋予了该领域近乎工业化的节奏。损失曲线成为路线图,计算预算成为战略。前沿往往可以用一个简单问题来描述:我们能走多大规模?

然而,最近最有趣的AI进展开始让人感觉不那么线性了。它不再仅仅是构建一个更大的模型,以便一次性给出更好的答案。相反,前沿越来越关注那些能够回顾、修正、搜索、模拟、批评和改进的模型和系统。重要的计算单位正在从前向传播转变为循环。

这一转变暗示了一个挑衅性的观点:递归可能是下一个扩展定律。

递归允许模型在其输出上进行迭代,反思自身生成的内容,并探索多个路径。这种方法已经开始在推理、代码生成和智能体计算等领域取得突破,而且它并不依赖于指数级增长的参数数量。相反,它依赖于计算在推理过程中的重复应用。

如果递归确实成为新的扩展定律,那么AI研究的重心将从训练更大的模型转向设计更好的循环——在推理过程中利用额外计算的有效结构。这可能从根本上改变我们衡量进展的方式:不再是看何时发布下一个10倍参数的模型,而是看何时出现能够有效自我改进的新架构。

这篇观点文章提醒我们,AI进步的下一阶段可能与过去不同。扩展定律并未消失,但它们正在被递归等原理所补充和增强。随着我们探索这一新领域,循环的计算价值可能成为最重要的指标。