如何為無服務器GPU定價

無服務器GPU和預留GPU的成本比較是AI團隊和財務部門經常討論的話題。關鍵在於理解應用的峯值-平均比，即滿足峯值需求所需的GPU數量與平均需求所需GPU數量的比值。這個比值反映了工作負載的波動性。

本文提出的成本模型基於一個簡單的假設：無服務器GPU按需即時分配，總成本等於費率乘以各時刻需求的總和；而預留GPU需要按峯值需求提前預訂，總成本等於費率乘以峯值需求再乘以預訂時長。模型默認使用Modal的B200 GPU無服務器費率與超大規模雲服務商的三年預留費率進行比較。

根據模型，當峯值-平均比大於預留折扣率時，無服務器方案的總成本更低。例如，如果預留GPU比無服務器便宜10倍，但應用的峯值-平均比為10，則兩者成本持平。在實際中，預留折扣通常在2-5倍，而AI工作負載的峯值-平均比常在5-10倍甚至更高，因此無服務器GPU在成本上更具優勢。

然而，模型有其侷限性。它假設需求可以完美預測，且分配和釋放是瞬時的。這些假設對預留方案更有利，因為現實中預測偏差會導致SLO違規或資源浪費。例如，預測過低會導致應用性能下降、故障增加和用户不滿；預測過高則造成浪費，並引發合同簽署後的財務討論。

無服務器方案則通過自動擴展應對需求波動。Modal在加速自動擴展方面投入了大量資源，即使像vLLM或SGLang這樣的複雜推理服務器也能在幾秒內啓動。當速度不夠時，用户可以通過預熱池和緩衝區進行過度配置，雖然增加了成本，但整體上避免了因合同限制而進行的內部和外部談判。

模型還假設只採用“全有或全無”策略：全部無服務器或全部預留。這簡化了數學計算，也降低了運營成本。但許多組織實際上採用混合策略：用預留覆蓋基線負載（最小需求），用無服務器處理突發或超額負載（其他一切）。突發部分的峯值-平均比通常高達10-100倍，使得無服務器方案尤其有吸引力。Modal正在探索將預留和無服務器經濟模型結合，以便財務團隊無需採購兩個供應商，工程團隊也無需集成兩個系統。

除了成本，無服務器GPU還帶來了開發效率的顯著提升。Modal的快速冷啓動允許開發人員使用與生產完全相同的基礎設施進行開發，減少了開發與生產環境的不一致，從而降低了缺陷率和修復時間。這進一步降低了總擁有成本。

總結而言，對於峯值-平均比高的AI應用（如推理、訓練和智能體開發），無服務器GPU在成本和靈活性上都優於預留方案。有興趣的團隊可以嘗試Modal的服務，或聯繫以獲得混合方案支持。