兩年前，我們曾與Erik Bernhardsson探討過他對真正無伺服器AI基礎設施的願景：開發者應當能夠直接執行程式碼，而無需預置叢集、預測負載，也不必為閒置資源付費。此後，Modal的CTO Akshat Bubna又做客節目，介紹了Modal用以提供這些基礎原語與代理體驗的底層設施與棧。如今，在完成50億美元C輪融資僅5個月後，Modal報告其年化營收已突破10億美元，並以160億美元估值完成了7.5億美元D輪融資，同時已啟動近30億個沙箱。本期節目中，Erik與Vibhu一同拆解了這輪增長背後的基礎設施與經濟邏輯，以及為何算力需求很少呈現為採購合同那樣的形狀。
GPU需求並非矩形
一份典型的容量合同，是在固定期限內為客戶提供固定數量的GPU。把容量對時間作圖，得到的是一個矩形。但真實的工作負載並非如此：它們會在一天之內增長、飆升又回落。若按峰值採購，就要為閒置硬體付費；若採購不足，又可能錯失需求。Erik將Modal的押注描述為一種“時長變換”：把數千家客戶的需求匯聚成一個池子，在下方鎖定容量，再讓每位客戶在需要時取用所需。聚合需求越平滑，這個池子就越有用。這也與我們與SF Compute的Evan Conrad的對話形成互補：Evan關注讓容量變得可交易，而Erik關注讓容量以更小、更具彈性的切片被使用。
另一側則存在財務風險。如果供應商以當前價格鎖定容量，而GPU價格此後下跌，它就可能手握昂貴供給。Erik表示他並不預期價格會立即崩塌，但認為在構建業務時這一可能性值得重視。
差點被砍掉的沙箱產品
Modal推出沙箱，源於Erik與聯合創始人Akshat Bubna注意到語言模型能夠生成程式碼，而總得有個地方來執行這些程式碼。早期採用率相當有限，團隊甚至討論過關停該產品。隨後，編碼代理、後臺代理與強化學習創造了新的需求。Erik稱，沙箱如今已佔到Modal營收的約三分之一，這一結果遠超他釋出時的預期。
這種增長也改變了基礎設施必須承擔的角色。一個代理可能會建立環境、執行程式碼、檢查結果，然後反覆重試許多次。啟動與恢復這些環境的延遲，成為了體驗的一部分。在我們近期與Akshat的訪談中，我們探討了從開發者體驗到代理體驗的這一轉變；此處Erik補充了產品與商業層面的故事。
快速啟動是一項基礎設施特性
彈性只有在容量能夠足夠快地到位時才有意義。Modal關於無伺服器GPU的技術文章描述了其機制：可用GPU緩衝池、自研檔案系統、程序檢查點以及GPU記憶體快照。這些部件減少了讓另一個模型副本上線所需的工作量。這是一個具體例證，說明基礎設施決策如何體現在應用的響應速度與成本之上。
我們還討論了Erik從Spotify推薦系統到Modal的歷程、公司如何採購算力、NVIDIA之外的替代方案、前置部署工程師（forward-deployed engineers），以及為何Modal的程式碼評審是可選的。
節目時間線要點
節目從Modal的業務介紹開始（0:00），隨後回顧Erik從Spotify到創立Modal的歷程（1:25），以及在生成式AI熱潮之前創業的經歷（4:19）。接著談及首批客戶與融資（7:43）、為推理與自動擴縮容而構建（10:00）、Modal從何處獲取GPU容量（13:21）、租賃與自建基礎設施的取捨（15:39），以及GPU價格下跌的風險（19:45）。節目還討論了AI需求是否無限（24:18）、NVIDIA的替代方案（26:12）、Modal能從neocloud學到什麼（28:25），以及GPU作為資產類別（30:26）。在產品層面，Erik介紹了functions與sandboxes兩大產品（31:55）、更小規模訓練負載的合理性（36:03）、代理沙箱正在發生的變化（41:21）、Anthropic與沙箱安全（46:48）、用代理測試安全（49:29）、代理時代的開發者體驗（52:51）、前置部署工程師的職責（57:45）、Modal的產品管理方式（59:55）、可選程式碼評審與工程文化（1:03:29）、雲、本地部署與自帶雲（1:05:56）、容量、融資與增長（1:09:25）、團隊擴張（1:13:07）、Erik關於臨時沙箱的推文（1:17:28）、矩形GPU合同的問題（1:18:31）、推理提供商與模型構建者的區別（1:21:20），以及模型下一步將在哪些方面提升（1:23:25）。
節目說明中還列出了Modal平臺本身、Erik關於基礎設施、市場與創業的文章、Modal的D輪融資公告、Modal如何實現真正無伺服器GPU的技術文章、Modal的資源求解器（如何在變化的價格與可用性之間選擇容量）、擴充套件至100萬個併發沙箱的工程記錄、我們與Erik的首次訪談、與Akshat Bubna關於代理基礎設施與開發者體驗的訪談，以及Evan Conrad關於GPU交易與實物結算的《可程式設計資料中心》。
需要說明的是，本期轉錄稿為自動生成，人名與措辭可能存在錯誤。