為什麼每瓦性能是AI基礎設施效率的終極指標

電力是AI基礎設施不可逃避的約束。一個AI工廠能在固定電力預算內生成多少token，直接決定了它的收入和盈利能力。因此，每瓦性能——一個無法被投機取巧、只能通過實際結果贏得的指標——是AI工廠的基石。隨着代理型AI推動token需求日益增長，組織今天所做的基礎設施決策將決定誰能在一個受電力約束的世界中擴展規模。

幾乎所有前沿AI模型現在都採用混合專家（MoE）架構。在機架規模上服務MoE需要系統與軟件棧每一層的協同設計，以及在實際生產負載下運行這些模型所積累的操作深度。NVIDIA Blackwell NVL72平台已經構建並驗證了這樣的機架級基礎，提供最高的每瓦性能以最大化收入，以及最低的token成本以最大化利潤率。正是這一基礎，使得NVIDIA Vera Rubin平台能夠在此基礎上進一步提升機架級能效。

最大化前沿AI的每瓦性能

每一代新前沿模型都會帶來架構變化，從而解鎖更強大的智能，同時要求新的優化以高效擴展。在最新一代領先開放模型中，NVIDIA GB300 NVL72相比NVIDIA Hopper代際實現了高達25倍的每瓦性能提升。這些數字反映了Blackwell當前的水平，並且仍在持續改進。

任何單一數字都只能説明部分情況。不同工作負載需要不同的操作點：一些優化延遲，另一些優化吞吐量和成本——大多數需要在兩者之間切換。為了最佳地表示這些操作點，NVIDIA為每個模型展示了帕累託曲線，而不是單一數據點，並提供了DynoSim等工具，幫助團隊在花費任何GPU小時進行驗證之前找到帕累託前沿上的最佳點。

NVIDIA GB300 NVL72在DeepSeek V4 Pro上相比Hopper實現了高達25倍的每瓦性能提升。在GLM5.1上，提升幅度更高達20倍；在Kimi K2.6上（一款專為長程代理任務設計的模型）則為10倍。

NVIDIA Blackwell所實現的每瓦性能是極端協同設計的結果：從芯片到軟件，機架級系統的每個組件都經過協同設計，以最大化AI推理工作負載的token吞吐量。這種協同設計觸及了棧的每一層。例如，NVIDIA NVLink Switch專為擴展GPU域而設計，而非從通用網絡適配而來。在Vera Rubin平台中已進入第六代，其功能專為AI工作負載設計，例如SHARP技術，該技術直接在交換機中執行網絡內計算，從而減輕GPU本身的工作負載。

NVIDIA的推理軟件棧，包括NVIDIA Dynamo、TensorRT LLM以及SGLang和vLLM，旨在運行全套優化：NVFP4量化、分離式服務、大規模專家並行、KV感知路由、KV緩存卸載等。這些優化層層疊加，倍增了每個GPU的性能。而且，軟件持續改進性能：在DeepSeek V4上，每瓦性能在一個月內提升了5倍。

在AI工廠中，冷卻和機架級低效率導致的電力損失可能意味着只有約60%的市電轉化為有用的AI計算。NVIDIA DSX MaxLPS——NVIDIA DSX平台中的電力與效率軟件——通過實時在GPU和機架之間轉移電力，支持温水液冷，並採用電力轉向等技術來榨取更多性能，從而縮小了這一差距。這使得運營商能夠在相同電力預算內運行多達40%更多的GPU。

生產才是關鍵

在AI工廠規模下實現機架級可靠性來之不易。機架級系統引入了單節點部署從未遇到過的故障模式，處理這些故障需要工程嚴謹性和生產時間。NVIDIA Blackwell NVL72系統繼續在各種模型和生產用例中樹立標準，日復一日地在真實流量下提供持續性能、機架級可靠性和經濟性。這也就是為什麼像Anthropic和OpenAI這樣的領先AI實驗室使用NVIDIA Blackwell NVL72系統來運行推理。

此外，各種推理服務提供商和AI原生企業也使用Blackwell平台在生產中部署開放模型。CoreWeave已在NVIDIA GB300 NVL72上部署了Kimi K2.6，結合NVFP4量化和EAGLE3推測解碼以最大化推理性能。Perplexity在其AI代理平台上使用NVIDIA GB200 NVL72運行Qwen3 235B和後續訓練的Qwen3.5-397B-A17B，每天處理數百萬查詢，滿足消費者所需的低延遲和高可靠性。Fireworks AI在NVIDIA Blackwell平台上部署GLM 5.2，為包括Cursor和Factory AI在內的客户提供生產級部署。

這種跨世代前沿模型和實際部署積累的生產經驗，正是NVIDIA Vera Rubin領先優勢的來源。欲瞭解更多關於NVIDIA Vera Rubin平台的信息，請參閲技術博客，並查看NVIDIA DSX AI工廠級平台和DSX MaxLPS的詳細信息。