为什么每瓦性能是AI基础设施效率的终极指标

电力是AI基础设施不可逃避的约束。一个AI工厂能在固定电力预算内生成多少token，直接决定了它的收入和盈利能力。因此，每瓦性能——一个无法被投机取巧、只能通过实际结果赢得的指标——是AI工厂的基石。随着代理型AI推动token需求日益增长，组织今天所做的基础设施决策将决定谁能在一个受电力约束的世界中扩展规模。

几乎所有前沿AI模型现在都采用混合专家（MoE）架构。在机架规模上服务MoE需要系统与软件栈每一层的协同设计，以及在实际生产负载下运行这些模型所积累的操作深度。NVIDIA Blackwell NVL72平台已经构建并验证了这样的机架级基础，提供最高的每瓦性能以最大化收入，以及最低的token成本以最大化利润率。正是这一基础，使得NVIDIA Vera Rubin平台能够在此基础上进一步提升机架级能效。

最大化前沿AI的每瓦性能

每一代新前沿模型都会带来架构变化，从而解锁更强大的智能，同时要求新的优化以高效扩展。在最新一代领先开放模型中，NVIDIA GB300 NVL72相比NVIDIA Hopper代际实现了高达25倍的每瓦性能提升。这些数字反映了Blackwell当前的水平，并且仍在持续改进。

任何单一数字都只能说明部分情况。不同工作负载需要不同的操作点：一些优化延迟，另一些优化吞吐量和成本——大多数需要在两者之间切换。为了最佳地表示这些操作点，NVIDIA为每个模型展示了帕累托曲线，而不是单一数据点，并提供了DynoSim等工具，帮助团队在花费任何GPU小时进行验证之前找到帕累托前沿上的最佳点。

NVIDIA GB300 NVL72在DeepSeek V4 Pro上相比Hopper实现了高达25倍的每瓦性能提升。在GLM5.1上，提升幅度更高达20倍；在Kimi K2.6上（一款专为长程代理任务设计的模型）则为10倍。

NVIDIA Blackwell所实现的每瓦性能是极端协同设计的结果：从芯片到软件，机架级系统的每个组件都经过协同设计，以最大化AI推理工作负载的token吞吐量。这种协同设计触及了栈的每一层。例如，NVIDIA NVLink Switch专为扩展GPU域而设计，而非从通用网络适配而来。在Vera Rubin平台中已进入第六代，其功能专为AI工作负载设计，例如SHARP技术，该技术直接在交换机中执行网络内计算，从而减轻GPU本身的工作负载。

NVIDIA的推理软件栈，包括NVIDIA Dynamo、TensorRT LLM以及SGLang和vLLM，旨在运行全套优化：NVFP4量化、分离式服务、大规模专家并行、KV感知路由、KV缓存卸载等。这些优化层层叠加，倍增了每个GPU的性能。而且，软件持续改进性能：在DeepSeek V4上，每瓦性能在一个月内提升了5倍。

在AI工厂中，冷却和机架级低效率导致的电力损失可能意味着只有约60%的市电转化为有用的AI计算。NVIDIA DSX MaxLPS——NVIDIA DSX平台中的电力与效率软件——通过实时在GPU和机架之间转移电力，支持温水液冷，并采用电力转向等技术来榨取更多性能，从而缩小了这一差距。这使得运营商能够在相同电力预算内运行多达40%更多的GPU。

生产才是关键

在AI工厂规模下实现机架级可靠性来之不易。机架级系统引入了单节点部署从未遇到过的故障模式，处理这些故障需要工程严谨性和生产时间。NVIDIA Blackwell NVL72系统继续在各种模型和生产用例中树立标准，日复一日地在真实流量下提供持续性能、机架级可靠性和经济性。这也就是为什么像Anthropic和OpenAI这样的领先AI实验室使用NVIDIA Blackwell NVL72系统来运行推理。

此外，各种推理服务提供商和AI原生企业也使用Blackwell平台在生产中部署开放模型。CoreWeave已在NVIDIA GB300 NVL72上部署了Kimi K2.6，结合NVFP4量化和EAGLE3推测解码以最大化推理性能。Perplexity在其AI代理平台上使用NVIDIA GB200 NVL72运行Qwen3 235B和后续训练的Qwen3.5-397B-A17B，每天处理数百万查询，满足消费者所需的低延迟和高可靠性。Fireworks AI在NVIDIA Blackwell平台上部署GLM 5.2，为包括Cursor和Factory AI在内的客户提供生产级部署。

这种跨世代前沿模型和实际部署积累的生产经验，正是NVIDIA Vera Rubin领先优势的来源。欲了解更多关于NVIDIA Vera Rubin平台的信息，请参阅技术博客，并查看NVIDIA DSX AI工厂级平台和DSX MaxLPS的详细信息。