在 Interconnects,我投入时间最长的智能体测试平台之一,就是构建 Interconnects Dashboard。这个看板汇总了网络上关于开放模型采用情况和性能的最佳数据,免费开放,而且正变得越来越实用。不过,我们目前掌握的开放模型采用度指标都极不精确:平台指标嘈杂,初创公司公布的数据往往带有营销色彩,公开评测也不完美。要判断趋势走向,需要一双有经验的眼睛。这份研究简报,就是我对当前状况的最佳近似判断。
与 Interconnects 上的多数内容一样,我们的目标是创造的价值远大于我们获取的价值,因此看板数据在可预见的未来仍将免费。这些简报会比我许多文章更原始,是我分享正在思考、但暂时还没有完整证据的问题的地方。它们主要以付费形式提供,这让我能更自由地表达。如果你从事 AI 政策或面向政策的研究工作,欢迎联系我们,我们很可能可以提供折扣或免费访问。
今天我想回答的核心问题是:开放模型推理的市场有多大?它在增长吗?相对于 OpenAI 和 Anthropic,它是否只是一个可以忽略不计的零头?
我一直在尽可能构建最好的测量,主要把开放模型推理初创公司 Baseten、Fireworks 和 Together AI 作为风向标,此外还有 OpenRouter 的 token 总量中开放模型所占的份额,感谢他们通过 API 报告这一数据。超大规模云厂商在此很可能也有重要份额,例如 Amazon Bedrock 和 Azure 的模型花园,但我还没有看到它们按模型类别拆分使用情况。相比之下,这些初创公司的命运与开放模型推理这一品类本身的成败更为直接地相关。
关于最新数据,可以从我在开放模型经济演讲中的一张幻灯片说起。这些是开放模型初创公司随时间公开披露的 token 量,采用对数坐标。图中显示出近乎指数级的增长,随后是 GLM 5.2 在开放智能体方面带来阶跃式变化之后出现的进一步上扬。例如,Fireworks 在本周的首届公司大会上宣布,他们每天为客户定制模型处理超过 40T 个 token。这只是其推理业务的一个切片,该公司表示这个垂直方向自今年夏天以来增长超过 2 倍,因此我预计,当我们拿到下一次更新时,他们今年秋天的总 token 量将远高于 100T。
面对这些数字,我的第一反应一直是将它们与任何能找到的闭源模型或超大规模公司进行对比,至少从 token 量上来看。幸运的是,Google 在财报中公布了整个平台和 API 使用的 token 量。我们可以把这两个数字叠加在开放模型推理平台之上,观察开放模型推理的相对规模。这一对比所揭示的,是开放模型生态究竟已经在 token 经济中占据可观份额,还是仍然只是一个边缘现象,仍有待更多数据来确认。