為什麼AI基礎設施必須為智能體體驗進化——Modal CTO Akshat Bubna專訪

Modal公司近期完成了3.55億美元的C輪融資，成為AI基礎設施領域備受關注的新星。在Latent Space的播客中，Modal的聯合創始人兼CTO Akshat Bubna與主持人swyx和Vibhu深入探討了為什麼傳統雲基礎設施不再適用，以及Modal如何從開發者體驗（DX）轉向智能體體驗（AX）。

Bubna指出，傳統的雲基礎設施是為人類開發者設計的，他們可以閲讀文檔、推理YAML配置，並在出現問題時藉助儀表盤排查解決。然而，AI智能體無法像人類那樣填充缺失的上下文。智能體需要一個更緊密的集成環境：編寫代碼、運行、檢查輸出、修改環境、調試失敗並重試。快速迭代和反饋循環，以及所有必要的上下文，對於智能體的高效運行至關重要。沙箱正是這種轉變的體現——智能體可以輕鬆地創建隔離環境，實現程序化的基礎設施管理。

Modal的起源可以追溯到對Kubernetes侷限性的反思。Kubernetes是為Web服務器用例設計的，擴展速度慢，難以管理突發性計算任務。Bubna回憶道，Modal最初的目標是構建一個更好的運行時，提供無服務器函數和自配置基礎設施，讓開發者通過裝飾器將基礎設施需求與代碼共置，從而擺脱繁瑣的YAML編寫。早在ChatGPT發佈之前，Modal就已經支持GPU，儘管當時並未預料到AI工作負載會如此爆發。

如今，Modal已將重點從單一的開發者體驗擴展到智能體體驗。SDK團隊正在重新思考如何讓智能體更高效地使用Modal。Bubna強調，觀測性在智能體時代更為重要，因為智能體自主編寫代碼後，人類需要更好的儀表盤和CLI工具來監控和判斷。Modal的核心能力包括彈性推理、GPU快照、冷啓動優化、推測解碼（DeFlash）、自動端點，以及支持RL rollout等場景的大規模沙箱（可同時運行10萬個沙箱）。

除了技術細節，Bubna還分享了Modal的“超級雲”策略：整合17家雲提供商的能力池，通過私有IPv6、RDMA和多節點訓練等網絡優化，為訓練和推理提供靈活的計算資源。對於生產環境中的智能體，Modal強調硬質護欄、專用沙箱和託管智能體服務，以確保安全性和可靠性。

最後，Bubna認為AI讓基礎設施重新變得令人興奮。Modal將繼續探索模型API、差異化產品以及智能體視頻處理等前沿領域，同時通過Modal Bench等工具為社區提供基準測試。對於希望構建下一代AI應用的企業，Modal正在重新定義什麼是合適的雲基礎設施。