AI News HubLIVE
站内改写4 分钟阅读

开放权重AI是减速主义的吗?

OpenAI战略未来主管Dean Ball认为开放权重模型本质上是减速主义的,因为它们抑制资本支出。本文从经济学角度探讨了这一观点,分析了中国在AI基础设施方面的投资、训练范式的转变以及价值在价值链中的迁移。文章认为,开放权重模型可能通过降低成本扩大应用范围,促进创新,从而实际上是加速主义的。

来源Hacker News AI作者: brandoncarl

当OpenAI的战略未来主管Dean Ball最近评论Kimi的新K3模型时,他不仅仅是在批评竞争对手。他无意中点燃了硅谷最激烈的派系争论。这篇帖子似乎将开放权重模型(向公众发布其内部数学蓝图)定位为“本质上是减速主义的”。

“开放权重模型本质上是减速主义的,我不断惊讶于所谓的‘加速主义者’对开放权重模型如此兴奋。我怀疑原因是他们知道开放权重模型实际上是无法治理的,他们只是喜欢开放权重模型在整个AI领域制造的无法治理的整体外衣。这不是一个糟糕的策略;它让我想起James Scott在‘不被治理的艺术’中描述的山区居民。尽管如此,最终,开放权重模型会阻止进一步的AI资本支出。”

“减速主义者”一词仅存在于与加速主义的对立中——加速主义认为快速的技术扩散能加速创新和社会效益。相反,减速主义指的是任何减缓资本形成并因此延迟这些收益的事物。为什么开放权重会符合这个条件?

这里有很多需要解读的内容。如果主张是开放权重阻止资本支出并因此减缓前沿发展的速度,那么论证必须基于经济学而非美学。这需要依次考察:代币是否成为商品;中国建设和投资AI基础设施的能力和意愿;价值链中的价值归属;当前的训练范式是否可持续;以及最终谁获得了财务收益。

资本密集度与中国问题

目前,训练大型语言模型成本高昂:专用芯片、庞大的数据中心、稀缺的工程人才和大量的数据。为这些项目提供资金的投资者期望持久的现金流。如果开放权重通过使模型更容易复制或微调而压缩未来收入,那么净现值下降。理论上,资本会撤退。

当中国进入视野时,这种逻辑带上了地缘政治色彩。虽然很容易用民族主义视角来描绘这个国家,但其经济转型是毋庸置疑的。通过连续的“七年规划”,中国建立了规模惊人的制造业基地,使数亿人进入中产阶级。它把资本投向哪里——钢铁、太阳能、电动汽车——往往重塑全球市场。

在内部工业化之后,问题在于当它向外输出其强大动力时会发生什么。太阳能电池板和电池是早期的答案。人工智能基础设施可能是另一个。如果“工厂”曾经生产钢铁,那么明天将生产代币。凭借低资本成本和对过度建设的容忍,中国可以补贴产能、压缩利润并动摇外国现有企业。对钢铁和太阳能倾销的担忧展示了这种策略。

从这个角度来看,开放权重似乎放大了威胁。如果智能可以被廉价复制并广泛部署,美国公司从前沿模型获利的能力就会减弱。一个充斥着补贴的开放权重智能的世界确实可能阻止高成本管辖区内的私人资本。

如果就此止步,减速主义的论点似乎合理。但它是基于当前训练范式和当前收入预期的一个快照。

训练范式与价值所在

当前模型主要是从头训练的:消耗大量语料库,冻结权重,然后进行微调和强化。每一代实际上是从头开始教育。连续学习和在线学习指向一个不同的未来——机器可以积累知识、丢弃错误并逐步适应,更像人类而非静态快照。这种方法可以显著降低前期资本支出。

François Chollet是AI领域的长期人物,他认为:

2040年的AI将不会建立在今天使用的技术栈上。它将更接近最优。当前的技术栈有3到4个数量级的数据低效率和4到5个数量级的计算低效率。接近最优的AI正是符号学习所能实现的。人们很难区分流体智能和知识,因为只要有足够的准备,记忆的模板就可以成为即时适应的可靠替代品。

如果正确,那么当前资本密集型的体制是暂时的。更根本的问题是价值在哪里积累。目前,很多注意力集中在代币上:机器生成智能的边际单位。然而,代币可能像电力一样——不可或缺,但价格接近边际成本。

OpenAI的CEO Sam Altman曾表示:

“我们看到的未来是,智能像电力或水一样成为一种公用事业,人们按表向我们购买,并用于他们想用的任何用途。”公用事业可以盈利,但竞争和规模往往会压缩利润。

商品化并不一定意味着微不足道。木材有不同的等级;代币也会如此。智能层可能会被细分并按相应定价。但竞争性市场往往会将即使是差异化的商品推向成本。如果是这样,价值可能会沿技术栈上下迁移——到专门的应用程序、领域特定的工具、专有数据、工作流集成和补充服务。

电力提供了一个先例。它是一种计量商品,但却实现了上游几乎无法想象的价值创造。Linux是另一个例子。操作系统变得无处不在且基本免费,但巨大的价值却在构建其上的公司中积累。开放权重模型可能发挥类似的功能,扩大贡献者池并加速上层的创新。目前,有意义地参与前沿开发基本上局限于少数实验室。开放权重降低了这一门槛。

核心上,大型语言模型是有条件概率机器:将输入代币映射到输出的数学变换。它们的力量在于这些变换的质量;它们的弱点在于可复制性。一致性引发标准化;标准化引发竞争。

展望未来

这是否使开放权重成为减速主义?只有假设当前的前沿商业模式是进步的唯一引擎时才会如此。这是一种狭隘的观点。较低的智能成本扩展了可行应用的前沿。更广泛的接触增加了在边缘进行实验的头脑数量。这两种动态总体上都是加速主义的。

这并不否定对治理或滥用的合理担忧。也不保证资本会被平稳分配。补贴性的产能过剩——无论是钢铁、太阳能还是代币——可能具有破坏性。但破坏并不等同于减速。它可能重新分配租金而不减少整体创新。

如果一切不变,智能可能会趋向公用事业地位,具有竞争力的定价并嵌入各处。前沿实验室可能在基础模型上赚取更薄的利润,但在集成、工具和专业服务上获得更丰厚的利润。中国将建设产能;其他国家也会。竞争将不再是关于谁拥有权重,而是关于谁掌握了围绕它们的生态系统。

在这种视角下,开放权重并非本质上是减速主义的。它们是一种赌注:价值所在正在转移,更广泛的参与将比侵蚀现有租金更快地扩大蛋糕。风险不在于进步放缓,而在于基于稀缺性的商业模式在走向丰裕的世界中挣扎。

加速,换句话说,可能更少地依赖于守护工厂大门,而更多地取决于一旦大门打开后决定建造什么。