两年前，我们曾与Erik Bernhardsson探讨过他对真正无服务器AI基础设施的愿景：开发者应当能够直接运行代码，而无需预置集群、预测负载，也不必为闲置资源付费。此后，Modal的CTO Akshat Bubna又做客节目，介绍了Modal用以提供这些基础原语与代理体验的底层设施与栈。如今，在完成50亿美元C轮融资仅5个月后，Modal报告其年化营收已突破10亿美元，并以160亿美元估值完成了7.5亿美元D轮融资，同时已启动近30亿个沙箱。本期节目中，Erik与Vibhu一同拆解了这轮增长背后的基础设施与经济逻辑，以及为何算力需求很少呈现为采购合同那样的形状。
GPU需求并非矩形
一份典型的容量合同，是在固定期限内为客户提供固定数量的GPU。把容量对时间作图，得到的是一个矩形。但真实的工作负载并非如此：它们会在一天之内增长、飙升又回落。若按峰值采购，就要为闲置硬件付费；若采购不足，又可能错失需求。Erik将Modal的押注描述为一种“时长变换”：把数千家客户的需求汇聚成一个池子，在下方锁定容量，再让每位客户在需要时取用所需。聚合需求越平滑，这个池子就越有用。这也与我们与SF Compute的Evan Conrad的对话形成互补：Evan关注让容量变得可交易，而Erik关注让容量以更小、更具弹性的切片被使用。
另一侧则存在财务风险。如果供应商以当前价格锁定容量，而GPU价格此后下跌，它就可能手握昂贵供给。Erik表示他并不预期价格会立即崩塌，但认为在构建业务时这一可能性值得重视。
差点被砍掉的沙箱产品
Modal推出沙箱，源于Erik与联合创始人Akshat Bubna注意到语言模型能够生成代码，而总得有个地方来运行这些代码。早期采用率相当有限，团队甚至讨论过关停该产品。随后，编码代理、后台代理与强化学习创造了新的需求。Erik称，沙箱如今已占到Modal营收的约三分之一，这一结果远超他发布时的预期。
这种增长也改变了基础设施必须承担的角色。一个代理可能会创建环境、运行代码、检查结果，然后反复重试许多次。启动与恢复这些环境的延迟，成为了体验的一部分。在我们近期与Akshat的访谈中，我们探讨了从开发者体验到代理体验的这一转变；此处Erik补充了产品与商业层面的故事。
快速启动是一项基础设施特性
弹性只有在容量能够足够快地到位时才有意义。Modal关于无服务器GPU的技术文章描述了其机制：可用GPU缓冲池、自研文件系统、进程检查点以及GPU内存快照。这些部件减少了让另一个模型副本上线所需的工作量。这是一个具体例证，说明基础设施决策如何体现在应用的响应速度与成本之上。
我们还讨论了Erik从Spotify推荐系统到Modal的历程、公司如何采购算力、NVIDIA之外的替代方案、前置部署工程师（forward-deployed engineers），以及为何Modal的代码评审是可选的。
节目时间线要点
节目从Modal的业务介绍开始（0:00），随后回顾Erik从Spotify到创立Modal的历程（1:25），以及在生成式AI热潮之前创业的经历（4:19）。接着谈及首批客户与融资（7:43）、为推理与自动扩缩容而构建（10:00）、Modal从何处获取GPU容量（13:21）、租赁与自建基础设施的取舍（15:39），以及GPU价格下跌的风险（19:45）。节目还讨论了AI需求是否无限（24:18）、NVIDIA的替代方案（26:12）、Modal能从neocloud学到什么（28:25），以及GPU作为资产类别（30:26）。在产品层面，Erik介绍了functions与sandboxes两大产品（31:55）、更小规模训练负载的合理性（36:03）、代理沙箱正在发生的变化（41:21）、Anthropic与沙箱安全（46:48）、用代理测试安全（49:29）、代理时代的开发者体验（52:51）、前置部署工程师的职责（57:45）、Modal的产品管理方式（59:55）、可选代码评审与工程文化（1:03:29）、云、本地部署与自带云（1:05:56）、容量、融资与增长（1:09:25）、团队扩张（1:13:07）、Erik关于临时沙箱的推文（1:17:28）、矩形GPU合同的问题（1:18:31）、推理提供商与模型构建者的区别（1:21:20），以及模型下一步将在哪些方面提升（1:23:25）。
节目说明中还列出了Modal平台本身、Erik关于基础设施、市场与创业的文章、Modal的D轮融资公告、Modal如何实现真正无服务器GPU的技术文章、Modal的资源求解器（如何在变化的价格与可用性之间选择容量）、扩展至100万个并发沙箱的工程记录、我们与Erik的首次访谈、与Akshat Bubna关于代理基础设施与开发者体验的访谈，以及Evan Conrad关于GPU交易与实物结算的《可编程数据中心》。
需要说明的是，本期转录稿为自动生成，人名与措辞可能存在错误。