如何為無伺服器GPU定價

無伺服器GPU和預留GPU的成本比較是AI團隊和財務部門經常討論的話題。關鍵在於理解應用的峰值-平均比，即滿足峰值需求所需的GPU數量與平均需求所需GPU數量的比值。這個比值反映了工作負載的波動性。

本文提出的成本模型基於一個簡單的假設：無伺服器GPU按需即時分配，總成本等於費率乘以各時刻需求的總和；而預留GPU需要按峰值需求提前預訂，總成本等於費率乘以峰值需求再乘以預訂時長。模型預設使用Modal的B200 GPU無伺服器費率與超大規模雲服務商的三年預留費率進行比較。

根據模型，當峰值-平均比大於預留折扣率時，無伺服器方案的總成本更低。例如，如果預留GPU比無伺服器便宜10倍，但應用的峰值-平均比為10，則兩者成本持平。在實際中，預留折扣通常在2-5倍，而AI工作負載的峰值-平均比常在5-10倍甚至更高，因此無伺服器GPU在成本上更具優勢。

然而，模型有其侷限性。它假設需求可以完美預測，且分配和釋放是瞬時的。這些假設對預留方案更有利，因為現實中預測偏差會導致SLO違規或資源浪費。例如，預測過低會導致應用效能下降、故障增加和使用者不滿；預測過高則造成浪費，並引發合同簽署後的財務討論。

無伺服器方案則透過自動擴充套件應對需求波動。Modal在加速自動擴充套件方面投入了大量資源，即使像vLLM或SGLang這樣的複雜推理伺服器也能在幾秒內啟動。當速度不夠時，使用者可以透過預熱池和緩衝區進行過度配置，雖然增加了成本，但整體上避免了因合同限制而進行的內部和外部談判。

模型還假設只採用“全有或全無”策略：全部無伺服器或全部預留。這簡化了數學計算，也降低了運營成本。但許多組織實際上採用混合策略：用預留覆蓋基線負載（最小需求），用無伺服器處理突發或超額負載（其他一切）。突發部分的峰值-平均比通常高達10-100倍，使得無伺服器方案尤其有吸引力。Modal正在探索將預留和無伺服器經濟模型結合，以便財務團隊無需採購兩個供應商，工程團隊也無需整合兩個系統。

除了成本，無伺服器GPU還帶來了開發效率的顯著提升。Modal的快速冷啟動允許開發人員使用與生產完全相同的基礎設施進行開發，減少了開發與生產環境的不一致，從而降低了缺陷率和修復時間。這進一步降低了總擁有成本。

總結而言，對於峰值-平均比高的AI應用（如推理、訓練和智慧體開發），無伺服器GPU在成本和靈活性上都優於預留方案。有興趣的團隊可以嘗試Modal的服務，或聯絡以獲得混合方案支援。