TheSequence意见#904:研究时代被高估,人工智能工程正在获胜
Ilya Sutskever将AI历史分为研究、扩展和再次研究时代。然而,当前前沿模型仍基于Transformer,改进来自数据、上下文长度、强化学习等工程优化。作者认为,真正突破来自Transformer周围的学习循环,而非替换它。
最近,Ilya Sutskever对现代人工智能的历史做出了一段简洁的梳理。他认为,从2012年到2020年左右,该领域处于研究时代;2020年至2025年,进入了扩展时代;而现在,我们正在回归研究——只是这次“带着大型计算机”。
这种分期颇具吸引力,但也引出了一个直接的问题。
打开2026年几乎任何前沿模型的发布说明,架构图看起来都出奇地相似。机器中仍然存在某个Transformer,通常通过混合专家系统进行路由。主要的改进通常在其他方面:更好的数据、更长的上下文、更强的强化学习、合成任务、工具使用、记忆、验证、自适应推理预算以及智能体编排。
这看起来并不像新神经物种的出现,而更像一级方程式赛车。赛车仍然有四个轮子和一台发动机,但巨大的进步却来自空气动力学、能量回收、轮胎化学、遥测、软件和维修区策略。底盘很重要,但围绕它的系统越来越决定比赛的胜负。
那么,我们正处于哪个时代:研究还是工程?
可能两者都是。研究时代已经回归,但其中许多研究如今表现为工业规模的工程。
“扩展并未结束,它逃逸了。”
吞噬该领域的配方
让我们更深入地探讨。Transformer的持续主导地位并非停滞,而是平台效应。就像20世纪初内燃机被不断改进一样,Transformer周围的工程创新正在释放其全部潜力。数据质量、训练动态和推理效率的进步,远比架构革命更能推动当前AI能力的提升。
事实上,一些最重要的突破来自对学习循环的重新思考。从人类反馈中进行强化学习、合成数据生成以及自适应计算分配,都使Transformer变得更加智能。这些并非替代品,而是增强剂。
因此,我们不应低估工程的价值。研究带来了Transformer,但工程正在赢得实际应用。未来的AI历史学家可能会将这一时期标记为工程时代,那时基础模型成为基础设施,而差异化优势来自于系统层面的优化。