歡迎 Basil Chatha——我們最新一位來自 AI 工程世界“前沿部署（Forward Deployed）”領域的聯合主持人！我們將與他一起推出一檔新節目，並且借 Modal 首席執行官 Erik 完成鉅額 D 輪融資之際，絕不錯過這次採訪機會。
兩年前，我們與 Erik Bernhardsson 討論過他對真正無服務器 AI 基礎設施的願景：開發者應當能夠運行代碼，而無需預置集羣、預測負載，或為閒置資源付費。隨後，CTO Akshat 也加入了我們，談論了 Modal 的基礎設施原語，以及為提供這些原語和智能體體驗而構建的技術棧。
在過去 5 個月裏，發生了很多變化。自其 50 億美元 C 輪融資以來，Modal 現在報告稱其年化收入已突破 10 億美元，以 160 億美元估值完成了 7.5 億美元 D 輪融資，並且已啓動近 30 億個沙箱。在這次對話中，Erik 與 Vibhu 一起解釋了這輪增長背後的基礎設施與經濟邏輯——以及為什麼對算力的需求很少呈現為過去購買算力時所用的那種合約形態。
GPU 需求並不是矩形的
一份典型的容量合約會以固定期限向客户提供固定數量的 GPU。把容量對時間作圖，你會得到一個矩形。真實的工作負載行為卻不同：它們會在一天之中增長、出現峯值，然後回落。如果按峯值購買足夠容量，你就會為閒置硬件付費；如果買得太少，你又可能錯過需求。
Erik 將 Modal 的押注描述為一種“時長變換”：在成千上萬名客户之間匯聚需求，在底層確保容量，並讓每個客户在自己需要的時候使用自己需要的量。聚合需求越平滑，這個資源池就越有用。這也是對我們與 SF Compute 的 Evan Conrad 那次對話的一個有用補充：Evan 專注於讓容量變得可交易；Erik 則專注於讓容量能夠以更小、更具彈性的切片被使用。
另一側也存在財務風險。如果供應商以今天的價格鎖定容量，而之後 GPU 價格下跌，它就可能持有昂貴的供給。Erik 表示，他並不預期短期內會出現崩塌，但認為在構建業務時這一可能性很重要。跳轉到 GPU 價格討論 →
那個差點沒能活下來的沙箱
Modal 是在 Erik 與聯合創始人 Akshat Bubna 注意到語言模型能夠生成代碼——並且總得有人為運行這些代碼提供場所——之後推出沙箱的。早期採用率相當有限，以至於團隊曾討論過關閉這個產品。後來，編碼智能體、後台智能體和強化學習創造了新的需求。Erik 表示，沙箱已增長到約佔 Modal 收入的三分之一，而這是他在發佈時沒有預料到的結果。
這種增長也改變了基礎設施必須完成的事情。一個智能體可能會創建環境、運行代碼、檢查結果，並反覆嘗試許多次。啓動和恢復這些環境的延遲，會成為體驗的一部分。在我們最近對 Akshat 的採訪中，我們探討了這種從開發者體驗到智能體體驗的轉變；在這裏，Erik 補充了產品與商業層面的故事。跳轉到沙箱討論 →
快速啓動是一項基礎設施特性
只有當容量能夠足夠快地到位時，彈性才有意義。Modal 關於無服務器 GPU 的文章描述了其中的機制：一個可用 GPU 緩衝區、一套定製文件系統、進程檢查點，以及 GPU 內存快照。這些組件減少了讓另一個模型副本上線所需的工作量。這是一個具體例子，説明基礎設施決策如何體現在應用的響應速度與成本上。
我們還討論了 Erik 從 Spotify 推薦系統到 Modal 的歷程、公司如何購買算力、NVIDIA 的替代方案、前沿部署工程師，以及為什麼在 Modal 代碼審查是可選的。跳轉到工程文化 →
節目筆記
Modal —— Erik 創立的 AI 基礎設施平台。
Erik 的文章 —— 他關於基礎設施、市場和創辦公司的隨筆。
Modal 的 D 輪融資公告 —— 公司最新報告的增長與沙箱裏程碑。
Modal 如何實現真正的無服務器 GPU —— 彈性推理背後的啓動與擴展技術。
Modal 的資源求解器 —— 它如何在不斷變化的價格與可用性之間選擇容量。
擴展到 100 萬個併發沙箱 —— 一份關於沙箱擴展的工程記錄。
我們對 Erik 的第一次採訪 —— 最初的無服務器基礎設施論點。
我們對 Akshat Bubna 的採訪 —— 面向智能體的基礎設施與開發者體驗。
可編程數據中心 —— Evan Conrad 談 GPU 交易與實物交割。
時間戳
0:00 Modal 是做什麼的
1:25 從 Spotify 到創辦 Modal
4:19 在生成式 AI 熱潮之前創業
7:43 第一批客户與融資
10:00 為推理和自動擴縮容而構建
13:21 Modal 從哪裏獲得 GPU 容量
15:39 租用還是自建基礎設施
19:45 GPU 價格下跌的風險
24:18 AI 需求是無限的嗎？
26:12 NVIDIA 的替代方案
28:25 Modal 能向 neocloud 學習什麼
30:26 GPU 作為一種資產類別
31:55 Modal 的產品：函數與沙箱
36:03 支持更小訓練工作負載的理由
41:21 智能體沙箱正在如何變化
46:48 Anthropic 與沙箱安全
49:29 用智能體測試安全性
52:51 智能體時代的開發者體驗
57:45 Modal 的前沿部署工程師做什麼
59:55 Modal 的產品管理方法
1:03:29 可選代碼審查與工程文化
1:05:56 雲、本地部署與自帶雲
1:09:25 容量、融資與增長
1:13:07 擴展團隊
1:17:28 Erik 的推文：臨時沙箱
1:18:31 矩形 GPU 合約的問題
1:21:20 推理提供商與模型構建者
1:23:25 模型下一步會在哪裏提升
文字記錄
自動轉錄自修訂版剪輯；姓名和措辭可能存在錯誤。
0:00 感謝你來到節目，Modal 的 Eric Fern-Hartson。你能解釋一下這項業務，也許還有你是怎麼走到這裏的嗎？是的。我們構建的，最簡單的説法是，我們構建 AI 基礎設施。所以我們提供一個計算平台和一個存儲平台，使許多客户——比如 Dacagon、Suno、Runway、Cognition 以及許多其他公司——能夠實質性地構建 AI 應用。所以在實踐中，這意味着大量推理、大量沙箱，有時是訓練和微調，有時是批處理任務和其他事情。我們基本上構建了一個軟件 SDK，使客户能夠非常快速地行動並構建這些東西。我們管理底層所有容量，讓部署、擴展和在生產中運行這些事情變得更容易。所以你大約兩年前上過 Light and Space，從那以後發生了很多事。那時你們有多大，任何你能分享的數字，以及相比之下，你們現在有多大？我其實不記得我們當時在哪裏，但大概至少是 50 倍，無論是收入還是用户，還是用户。是的。我其實在一個副項目裏用它。不錯。是的。就是把 2D 圖像轉換成 3D 模型。是的。所以就是託管幾個模型。你覺得怎麼樣？有什麼反饋嗎？我很喜歡。不錯。好。所以是的，這就是為什麼我用它而不是任何競爭對手之類的。好。那麼在你創辦 Modal 之前，你曾在 Spotify，也曾在 Better.com，我想。
1:30 沒錯。是的。是的。你在 Spotify 做什麼？我其實在 Spotify 做過很多不同的事情，但我主要的貢獻是我構建了一個音樂推薦系統。我畢業後於 2008 年、也許 2009 年加入，並在 Spotify 待了七年。其中大部分時間基本上是從零構建一個音樂推薦系統，並建立了一個小團隊，我們發佈了許多功能，比如相關藝術家和 Discover Weekly 以及其他一堆東西。所以有很多矩陣分解，很多計算密集型的東西。可以説，後來成為 Modal 起源的很多東西，就是構建 AI 應用並意識到基礎設施爛透了。一定有更好的辦法。所以很多——你知道——Modal 的理由，就是構建我多年來在 Spotify 一直想要擁有的工具。是的。所以 Modal 更像是你在 Spotify 學到的東西的延伸，而不是來自 Better.com 的東西。Better.com 算是一段小插曲。那是一段過山車般的經歷，關於這家公司説來話長。我們單獨談過。但我在 Better 做了五年 CTO，把技術團隊從——我想——兩三個人發展到三四百人。所以我在管理、組建團隊和招聘方面學到了很多，也在開發者生產力方面學到了很多。我很多地思考工具之類的東西。做了更多全棧的東西。但是的，我後來回到了我內心親近的東西，也就是基礎設施、AI 和機器學習。Better.com 又是做什麼的？抵押貸款。好。是的。你是怎麼進入那個領域的？
3:00 我的意思是，我們不必在這上面花太多時間。是的，不，沒關係。比如這個人，Zach Frankel，我當時並不認識他，後來招募我去 Better 做 CTO，當時公司只有 10 個人。而且，你知道，不管什麼原因，創始人 Vishal，一個非常有趣的人，非常非常聰明，在主要是積極的方面有點瘋狂。我們相處得非常好。所以我們，是的，我們在 2015 年開始構建它，我花了五年發展那家公司，然後，你知道，最終發現做抵押貸款相當難，而且疫情之後利率上升得非常快，那給公司帶來了很多問題。但到那時我已經離開了。那是 2020 年、2021 年你離開的？是的，差不多。所以，好，你是在有 Modal 的想法之前離開的，還是離開之後才創辦的？很難説。我離開 Better 時有很多隨機的想法，我其實不確定自己是否想創辦公司。我在疫情期間，幾乎像休了一次長假，有兩個孩子。我的意思是，我現在還有孩子，但當時他們——我想——兩歲和四歲，所以我決定閒一段時間，休了一些時間，做點兼職，鼓搗某些東西，不確定也許我應該做些諮詢，然後我開始構建東西。我就對最終成為 Modal 的這個想法超級興奮。但實際是，你知道，Modal 是我有了的——我想——第 30 個想法。所以之前有幾個嘗試都無疾而終。
4:30 但 Modal 第一個想法是，這挺酷的。我應該做這個。這可能是一個很酷的平台。其他想法是不是也在類似方向，比如開發者工具？第一件事是某種網頁抓取的東西，沒什麼結果。但實際上，事後看，也許本來可以有所成就。那是在 ChatGPT 發佈之前嗎？是的。是的。2021 年。哦，好。所以 ChatGPT 是 2022 年底，對吧？然後我開始構建，所以也許倒回去一點提供背景：我在 Spotify 工作時發佈過一個開源框架 Kaluigi，它是一種工作流編排。所以某種程度上屬於同一類別，Airflow 和 Prefect 等，某種程度上已經過時的類別，人們談得沒那麼多。但有一段時間它——你知道——獲得了很多關注。總之，我從未把它變成生意。但幾年後，在 2021 年，當我思考商業想法或要做的事情時，我某種程度上回到了工作流編排。我開始鼓搗一堆想法，比如在雲端運行代碼，像基本的編排代碼在雲中運行。我意識到的是，你知道，歸根結底，核心拼圖不僅僅是編排計算，而是執行計算。我心想，那是更大的問題。