欢迎 Basil Chatha——我们最新一位来自 AI 工程世界“前沿部署（Forward Deployed）”领域的联合主持人！我们将与他一起推出一档新节目，并且借 Modal 首席执行官 Erik 完成巨额 D 轮融资之际，绝不错过这次采访机会。
两年前，我们与 Erik Bernhardsson 讨论过他对真正无服务器 AI 基础设施的愿景：开发者应当能够运行代码，而无需预置集群、预测负载，或为闲置资源付费。随后，CTO Akshat 也加入了我们，谈论了 Modal 的基础设施原语，以及为提供这些原语和智能体体验而构建的技术栈。
在过去 5 个月里，发生了很多变化。自其 50 亿美元 C 轮融资以来，Modal 现在报告称其年化收入已突破 10 亿美元，以 160 亿美元估值完成了 7.5 亿美元 D 轮融资，并且已启动近 30 亿个沙箱。在这次对话中，Erik 与 Vibhu 一起解释了这轮增长背后的基础设施与经济逻辑——以及为什么对算力的需求很少呈现为过去购买算力时所用的那种合约形态。
GPU 需求并不是矩形的
一份典型的容量合约会以固定期限向客户提供固定数量的 GPU。把容量对时间作图，你会得到一个矩形。真实的工作负载行为却不同：它们会在一天之中增长、出现峰值，然后回落。如果按峰值购买足够容量，你就会为闲置硬件付费；如果买得太少，你又可能错过需求。
Erik 将 Modal 的押注描述为一种“时长变换”：在成千上万名客户之间汇聚需求，在底层确保容量，并让每个客户在自己需要的时候使用自己需要的量。聚合需求越平滑，这个资源池就越有用。这也是对我们与 SF Compute 的 Evan Conrad 那次对话的一个有用补充：Evan 专注于让容量变得可交易；Erik 则专注于让容量能够以更小、更具弹性的切片被使用。
另一侧也存在财务风险。如果供应商以今天的价格锁定容量，而之后 GPU 价格下跌，它就可能持有昂贵的供给。Erik 表示，他并不预期短期内会出现崩塌，但认为在构建业务时这一可能性很重要。跳转到 GPU 价格讨论 →
那个差点没能活下来的沙箱
Modal 是在 Erik 与联合创始人 Akshat Bubna 注意到语言模型能够生成代码——并且总得有人为运行这些代码提供场所——之后推出沙箱的。早期采用率相当有限，以至于团队曾讨论过关闭这个产品。后来，编码智能体、后台智能体和强化学习创造了新的需求。Erik 表示，沙箱已增长到约占 Modal 收入的三分之一，而这是他在发布时没有预料到的结果。
这种增长也改变了基础设施必须完成的事情。一个智能体可能会创建环境、运行代码、检查结果，并反复尝试许多次。启动和恢复这些环境的延迟，会成为体验的一部分。在我们最近对 Akshat 的采访中，我们探讨了这种从开发者体验到智能体体验的转变；在这里，Erik 补充了产品与商业层面的故事。跳转到沙箱讨论 →
快速启动是一项基础设施特性
只有当容量能够足够快地到位时，弹性才有意义。Modal 关于无服务器 GPU 的文章描述了其中的机制：一个可用 GPU 缓冲区、一套定制文件系统、进程检查点，以及 GPU 内存快照。这些组件减少了让另一个模型副本上线所需的工作量。这是一个具体例子，说明基础设施决策如何体现在应用的响应速度与成本上。
我们还讨论了 Erik 从 Spotify 推荐系统到 Modal 的历程、公司如何购买算力、NVIDIA 的替代方案、前沿部署工程师，以及为什么在 Modal 代码审查是可选的。跳转到工程文化 →
节目笔记
Modal —— Erik 创立的 AI 基础设施平台。
Erik 的文章 —— 他关于基础设施、市场和创办公司的随笔。
Modal 的 D 轮融资公告 —— 公司最新报告的增长与沙箱里程碑。
Modal 如何实现真正的无服务器 GPU —— 弹性推理背后的启动与扩展技术。
Modal 的资源求解器 —— 它如何在不断变化的价格与可用性之间选择容量。
扩展到 100 万个并发沙箱 —— 一份关于沙箱扩展的工程记录。
我们对 Erik 的第一次采访 —— 最初的无服务器基础设施论点。
我们对 Akshat Bubna 的采访 —— 面向智能体的基础设施与开发者体验。
可编程数据中心 —— Evan Conrad 谈 GPU 交易与实物交割。
时间戳
0:00 Modal 是做什么的
1:25 从 Spotify 到创办 Modal
4:19 在生成式 AI 热潮之前创业
7:43 第一批客户与融资
10:00 为推理和自动扩缩容而构建
13:21 Modal 从哪里获得 GPU 容量
15:39 租用还是自建基础设施
19:45 GPU 价格下跌的风险
24:18 AI 需求是无限的吗？
26:12 NVIDIA 的替代方案
28:25 Modal 能向 neocloud 学习什么
30:26 GPU 作为一种资产类别
31:55 Modal 的产品：函数与沙箱
36:03 支持更小训练工作负载的理由
41:21 智能体沙箱正在如何变化
46:48 Anthropic 与沙箱安全
49:29 用智能体测试安全性
52:51 智能体时代的开发者体验
57:45 Modal 的前沿部署工程师做什么
59:55 Modal 的产品管理方法
1:03:29 可选代码审查与工程文化
1:05:56 云、本地部署与自带云
1:09:25 容量、融资与增长
1:13:07 扩展团队
1:17:28 Erik 的推文：临时沙箱
1:18:31 矩形 GPU 合约的问题
1:21:20 推理提供商与模型构建者
1:23:25 模型下一步会在哪里提升
文字记录
自动转录自修订版剪辑；姓名和措辞可能存在错误。
0:00 感谢你来到节目，Modal 的 Eric Fern-Hartson。你能解释一下这项业务，也许还有你是怎么走到这里的吗？是的。我们构建的，最简单的说法是，我们构建 AI 基础设施。所以我们提供一个计算平台和一个存储平台，使许多客户——比如 Dacagon、Suno、Runway、Cognition 以及许多其他公司——能够实质性地构建 AI 应用。所以在实践中，这意味着大量推理、大量沙箱，有时是训练和微调，有时是批处理任务和其他事情。我们基本上构建了一个软件 SDK，使客户能够非常快速地行动并构建这些东西。我们管理底层所有容量，让部署、扩展和在生产中运行这些事情变得更容易。所以你大约两年前上过 Light and Space，从那以后发生了很多事。那时你们有多大，任何你能分享的数字，以及相比之下，你们现在有多大？我其实不记得我们当时在哪里，但大概至少是 50 倍，无论是收入还是用户，还是用户。是的。我其实在一个副项目里用它。不错。是的。就是把 2D 图像转换成 3D 模型。是的。所以就是托管几个模型。你觉得怎么样？有什么反馈吗？我很喜欢。不错。好。所以是的，这就是为什么我用它而不是任何竞争对手之类的。好。那么在你创办 Modal 之前，你曾在 Spotify，也曾在 Better.com，我想。
1:30 没错。是的。是的。你在 Spotify 做什么？我其实在 Spotify 做过很多不同的事情，但我主要的贡献是我构建了一个音乐推荐系统。我毕业后于 2008 年、也许 2009 年加入，并在 Spotify 待了七年。其中大部分时间基本上是从零构建一个音乐推荐系统，并建立了一个小团队，我们发布了许多功能，比如相关艺术家和 Discover Weekly 以及其他一堆东西。所以有很多矩阵分解，很多计算密集型的东西。可以说，后来成为 Modal 起源的很多东西，就是构建 AI 应用并意识到基础设施烂透了。一定有更好的办法。所以很多——你知道——Modal 的理由，就是构建我多年来在 Spotify 一直想要拥有的工具。是的。所以 Modal 更像是你在 Spotify 学到的东西的延伸，而不是来自 Better.com 的东西。Better.com 算是一段小插曲。那是一段过山车般的经历，关于这家公司说来话长。我们单独谈过。但我在 Better 做了五年 CTO，把技术团队从——我想——两三个人发展到三四百人。所以我在管理、组建团队和招聘方面学到了很多，也在开发者生产力方面学到了很多。我很多地思考工具之类的东西。做了更多全栈的东西。但是的，我后来回到了我内心亲近的东西，也就是基础设施、AI 和机器学习。Better.com 又是做什么的？抵押贷款。好。是的。你是怎么进入那个领域的？
3:00 我的意思是，我们不必在这上面花太多时间。是的，不，没关系。比如这个人，Zach Frankel，我当时并不认识他，后来招募我去 Better 做 CTO，当时公司只有 10 个人。而且，你知道，不管什么原因，创始人 Vishal，一个非常有趣的人，非常非常聪明，在主要是积极的方面有点疯狂。我们相处得非常好。所以我们，是的，我们在 2015 年开始构建它，我花了五年发展那家公司，然后，你知道，最终发现做抵押贷款相当难，而且疫情之后利率上升得非常快，那给公司带来了很多问题。但到那时我已经离开了。那是 2020 年、2021 年你离开的？是的，差不多。所以，好，你是在有 Modal 的想法之前离开的，还是离开之后才创办的？很难说。我离开 Better 时有很多随机的想法，我其实不确定自己是否想创办公司。我在疫情期间，几乎像休了一次长假，有两个孩子。我的意思是，我现在还有孩子，但当时他们——我想——两岁和四岁，所以我决定闲一段时间，休了一些时间，做点兼职，鼓捣某些东西，不确定也许我应该做些咨询，然后我开始构建东西。我就对最终成为 Modal 的这个想法超级兴奋。但实际是，你知道，Modal 是我有了的——我想——第 30 个想法。所以之前有几个尝试都无疾而终。
4:30 但 Modal 第一个想法是，这挺酷的。我应该做这个。这可能是一个很酷的平台。其他想法是不是也在类似方向，比如开发者工具？第一件事是某种网页抓取的东西，没什么结果。但实际上，事后看，也许本来可以有所成就。那是在 ChatGPT 发布之前吗？是的。是的。2021 年。哦，好。所以 ChatGPT 是 2022 年底，对吧？然后我开始构建，所以也许倒回去一点提供背景：我在 Spotify 工作时发布过一个开源框架 Kaluigi，它是一种工作流编排。所以某种程度上属于同一类别，Airflow 和 Prefect 等，某种程度上已经过时的类别，人们谈得没那么多。但有一段时间它——你知道——获得了很多关注。总之，我从未把它变成生意。但几年后，在 2021 年，当我思考商业想法或要做的事情时，我某种程度上回到了工作流编排。我开始鼓捣一堆想法，比如在云端运行代码，像基本的编排代码在云中运行。我意识到的是，你知道，归根结底，核心拼图不仅仅是编排计算，而是执行计算。我心想，那是更大的问题。