隨著推理工作負載的激增，對 GPU 的需求變得更加不可預測。傳統的伺服器方案需要預先分配大量 GPU，導致利用率低下。Modal 透過一系列深度技術，實現了真正的無伺服器 GPU，讓推理應用能夠快速彈性伸縮。
核心最佳化包括四個方面：首先，透過維護一個空閒 GPU 緩衝池，將例項分配和健康檢查移出關鍵路徑，從而避免數十分鐘的等待時間。其次，採用自定義的內容定址多級快取檔案系統，容器映象按需載入，無需等待完整的映象下載。第三，利用 CPU 程序的檢查點/恢復技術，跳過應用在主機端的初始化步驟。最後，藉助 CUDA 檢查點/恢復技術，直接恢復 GPU 記憶體中的上下文，免去 GPU 端的初始化耗時。
這些技術共同作用，使得推理伺服器的啟動時間從超過 2000 秒降低到約 50 秒，提升達 40 倍。這不僅提高了 GPU 的分配利用率，還讓系統能夠更好地應對流量波動，同時降低成本。Modal 認為，透明公開這些技術細節有助於推動整個行業更高效地使用 GPU。
在實際部署中，Modal 還注重 GPU 的健康檢查，因為 GPU 的故障率遠高於其他硬體。他們採用輕量級啟動檢查與定期深度診斷相結合的方式，確保緩衝池中的 GPU 始終處於可用狀態。此外，Modal 支援多種開發工作負載，不僅能服務於生產環境，還能快速建立可復現的開發環境，進一步提升了開發效率。
總的來說，Modal 的這套方案為推理場景提供了前所未有的彈性，使得 GPU 資源能夠像真正的無伺服器計算一樣按需分配，大幅降低了運營成本和複雜度。