为什么AI基础设施必须为智能体体验进化——Modal CTO Akshat Bubna专访

Modal公司近期完成了3.55亿美元的C轮融资，成为AI基础设施领域备受关注的新星。在Latent Space的播客中，Modal的联合创始人兼CTO Akshat Bubna与主持人swyx和Vibhu深入探讨了为什么传统云基础设施不再适用，以及Modal如何从开发者体验（DX）转向智能体体验（AX）。

Bubna指出，传统的云基础设施是为人类开发者设计的，他们可以阅读文档、推理YAML配置，并在出现问题时借助仪表盘排查解决。然而，AI智能体无法像人类那样填充缺失的上下文。智能体需要一个更紧密的集成环境：编写代码、运行、检查输出、修改环境、调试失败并重试。快速迭代和反馈循环，以及所有必要的上下文，对于智能体的高效运行至关重要。沙箱正是这种转变的体现——智能体可以轻松地创建隔离环境，实现程序化的基础设施管理。

Modal的起源可以追溯到对Kubernetes局限性的反思。Kubernetes是为Web服务器用例设计的，扩展速度慢，难以管理突发性计算任务。Bubna回忆道，Modal最初的目标是构建一个更好的运行时，提供无服务器函数和自配置基础设施，让开发者通过装饰器将基础设施需求与代码共置，从而摆脱繁琐的YAML编写。早在ChatGPT发布之前，Modal就已经支持GPU，尽管当时并未预料到AI工作负载会如此爆发。

如今，Modal已将重点从单一的开发者体验扩展到智能体体验。SDK团队正在重新思考如何让智能体更高效地使用Modal。Bubna强调，观测性在智能体时代更为重要，因为智能体自主编写代码后，人类需要更好的仪表盘和CLI工具来监控和判断。Modal的核心能力包括弹性推理、GPU快照、冷启动优化、推测解码（DeFlash）、自动端点，以及支持RL rollout等场景的大规模沙箱（可同时运行10万个沙箱）。

除了技术细节，Bubna还分享了Modal的“超级云”策略：整合17家云提供商的能力池，通过私有IPv6、RDMA和多节点训练等网络优化，为训练和推理提供灵活的计算资源。对于生产环境中的智能体，Modal强调硬质护栏、专用沙箱和托管智能体服务，以确保安全性和可靠性。

最后，Bubna认为AI让基础设施重新变得令人兴奋。Modal将继续探索模型API、差异化产品以及智能体视频处理等前沿领域，同时通过Modal Bench等工具为社区提供基准测试。对于希望构建下一代AI应用的企业，Modal正在重新定义什么是合适的云基础设施。