為什麼AI基礎設施必須為智慧體體驗進化——Modal CTO Akshat Bubna專訪

Modal公司近期完成了3.55億美元的C輪融資，成為AI基礎設施領域備受關注的新星。在Latent Space的播客中，Modal的聯合創始人兼CTO Akshat Bubna與主持人swyx和Vibhu深入探討了為什麼傳統雲基礎設施不再適用，以及Modal如何從開發者體驗（DX）轉向智慧體體驗（AX）。

Bubna指出，傳統的雲基礎設施是為人類開發者設計的，他們可以閱讀文件、推理YAML配置，並在出現問題時藉助儀表盤排查解決。然而，AI智慧體無法像人類那樣填充缺失的上下文。智慧體需要一個更緊密的整合環境：編寫程式碼、執行、檢查輸出、修改環境、除錯失敗並重試。快速迭代和反饋迴圈，以及所有必要的上下文，對於智慧體的高效執行至關重要。沙箱正是這種轉變的體現——智慧體可以輕鬆地建立隔離環境，實現程式化的基礎設施管理。

Modal的起源可以追溯到對Kubernetes侷限性的反思。Kubernetes是為Web伺服器用例設計的，擴充套件速度慢，難以管理突發性計算任務。Bubna回憶道，Modal最初的目標是構建一個更好的執行時，提供無伺服器函式和自配置基礎設施，讓開發者透過裝飾器將基礎設施需求與程式碼共置，從而擺脫繁瑣的YAML編寫。早在ChatGPT釋出之前，Modal就已經支援GPU，儘管當時並未預料到AI工作負載會如此爆發。

如今，Modal已將重點從單一的開發者體驗擴充套件到智慧體體驗。SDK團隊正在重新思考如何讓智慧體更高效地使用Modal。Bubna強調，觀測性在智慧體時代更為重要，因為智慧體自主編寫程式碼後，人類需要更好的儀表盤和CLI工具來監控和判斷。Modal的核心能力包括彈性推理、GPU快照、冷啟動最佳化、推測解碼（DeFlash）、自動端點，以及支援RL rollout等場景的大規模沙箱（可同時執行10萬個沙箱）。

除了技術細節，Bubna還分享了Modal的“超級雲”策略：整合17家雲提供商的能力池，透過私有IPv6、RDMA和多節點訓練等網路最佳化，為訓練和推理提供靈活的計算資源。對於生產環境中的智慧體，Modal強調硬質護欄、專用沙箱和託管智慧體服務，以確保安全性和可靠性。

最後，Bubna認為AI讓基礎設施重新變得令人興奮。Modal將繼續探索模型API、差異化產品以及智慧體影片處理等前沿領域，同時透過Modal Bench等工具為社群提供基準測試。對於希望構建下一代AI應用的企業，Modal正在重新定義什麼是合適的雲基礎設施。