如何为无服务器GPU定价

无服务器GPU和预留GPU的成本比较是AI团队和财务部门经常讨论的话题。关键在于理解应用的峰值-平均比，即满足峰值需求所需的GPU数量与平均需求所需GPU数量的比值。这个比值反映了工作负载的波动性。

本文提出的成本模型基于一个简单的假设：无服务器GPU按需即时分配，总成本等于费率乘以各时刻需求的总和；而预留GPU需要按峰值需求提前预订，总成本等于费率乘以峰值需求再乘以预订时长。模型默认使用Modal的B200 GPU无服务器费率与超大规模云服务商的三年预留费率进行比较。

根据模型，当峰值-平均比大于预留折扣率时，无服务器方案的总成本更低。例如，如果预留GPU比无服务器便宜10倍，但应用的峰值-平均比为10，则两者成本持平。在实际中，预留折扣通常在2-5倍，而AI工作负载的峰值-平均比常在5-10倍甚至更高，因此无服务器GPU在成本上更具优势。

然而，模型有其局限性。它假设需求可以完美预测，且分配和释放是瞬时的。这些假设对预留方案更有利，因为现实中预测偏差会导致SLO违规或资源浪费。例如，预测过低会导致应用性能下降、故障增加和用户不满；预测过高则造成浪费，并引发合同签署后的财务讨论。

无服务器方案则通过自动扩展应对需求波动。Modal在加速自动扩展方面投入了大量资源，即使像vLLM或SGLang这样的复杂推理服务器也能在几秒内启动。当速度不够时，用户可以通过预热池和缓冲区进行过度配置，虽然增加了成本，但整体上避免了因合同限制而进行的内部和外部谈判。

模型还假设只采用“全有或全无”策略：全部无服务器或全部预留。这简化了数学计算，也降低了运营成本。但许多组织实际上采用混合策略：用预留覆盖基线负载（最小需求），用无服务器处理突发或超额负载（其他一切）。突发部分的峰值-平均比通常高达10-100倍，使得无服务器方案尤其有吸引力。Modal正在探索将预留和无服务器经济模型结合，以便财务团队无需采购两个供应商，工程团队也无需集成两个系统。

除了成本，无服务器GPU还带来了开发效率的显著提升。Modal的快速冷启动允许开发人员使用与生产完全相同的基础设施进行开发，减少了开发与生产环境的不一致，从而降低了缺陷率和修复时间。这进一步降低了总拥有成本。

总结而言，对于峰值-平均比高的AI应用（如推理、训练和智能体开发），无服务器GPU在成本和灵活性上都优于预留方案。有兴趣的团队可以尝试Modal的服务，或联系以获得混合方案支持。