NVIDIA Vera Rubin：最大化智慧體AI每美元智慧的關鍵平臺

想象一位職業運動員。將精英選手與其他人區分開來的，是比賽之外的持續改進：根據上一場比賽暴露的問題，調整策略、磨鍊技能。智慧體AI也是如此。模型不再只是回答問題，而是被賦予一個目標，並需要在環境變化、邊緣情況出現和工具變更時不斷適應。與生成式模型不同，智慧體模型必須規劃、使用不同工具，並在遇到問題時恢復。因此，後訓練——即在初始訓練後對模型進行精煉的階段——不再是一次性的收尾步驟，而是持續的過程。因為智慧體模型執行的環境變化迅速，工具可能每週更新，生產環境中出現的邊緣情況是測試集未曾預料到的。每一次部署都帶來獨特的程式碼庫、策略和環境。後訓練迴圈隨著新問題的出現而從生產環境反饋回來。計算規模的增長不是因為單次執行更大，而是因為執行從未停止。智慧體AI為後訓練引入了新的計算模式，使其成為智慧體時代的核心工作負載和每美元智慧的主要驅動力。

後訓練的目標是透過最大化持續學習迴圈中每一次前向和反向傳播的收益，來最大化每美元智慧。前向傳播——推理——以每token成本來衡量。因此，每token成本的任何改善都會直接轉化為每美元智慧的提升。後訓練是構建智慧的地方。在預訓練中，模型學習預測下一個token，這賦予了它流暢性，但沒有智慧。後訓練中，模型學習編寫程式碼、規劃多步驟任務、使用搜尋工具以及在出錯時恢復。推理則是後續步驟：模型在工作中執行，以每token成本定價。由於沒有可以背誦的答案，只有獎勵，模型透過強化學習技術進行學習。當給定任務時，它會寫出一段嘗試——前向傳播——與它在工作中所做的相同。嘗試被評分，教訓更新模型權重——反向傳播。透過數百萬次嘗試，智慧得以增長。每一步都計算密集，大規模執行這個迴圈是一個編排問題：數千個環境並行生成試驗，獎勵被驗證，更新後的權重流回訓練，加速器得到充分利用。NVIDIA NeMo開源庫（如用於訓練環境的NeMo Gym和用於分散式後訓練的NeMo RL）將後訓練從定製研究程式碼轉變為可重複的基礎設施。

為什麼每美元智慧擴充套件了每token成本？如果推理是收入引擎，那麼後訓練就是倍增器：模型越強大，每個token的價值就越高。每token成本是推理工廠的關鍵指標：交付100萬個token的總成本。每美元智慧則高一層，回答了一個不同的問題：構建一個值得服務的模型需要多少成本，並在環境變化時保持其價值？兩者相互巢狀而非競爭。降低每token成本的AI基礎設施也降低了模型內建智慧點的成本。而每一個內建的智慧點又提高了推理工廠提供的每個token的價值。換句話說，每token成本衡量運營收益；每美元智慧衡量模型智慧投資是否在產生回報。

最大化每美元智慧：後訓練Nemotron 3 Ultra。NVIDIA Nemotron 3 Ultra是一個開放權重的5500億引數混合專家（MoE）模型，提供可驗證的基準測試和完全公開的後訓練方案，執行在NeMo RL上。它在標準真實世界編碼基準測試SWE-bench驗證中得分71.7%，即每十個真實軟體錯誤中大約有七個可以生成有效的修復，每個修復都經過專案自身測試的檢查。NVIDIA Blackwell平臺降低了每次執行的成本，使得智慧體時代頻繁的後訓練在經濟上可行。這些智慧在服務的每個token中得到回報。NVIDIA Vera Rubin平臺進一步擴充套件了這一趨勢，使用Blackwell四分之一數量的GPU即可訓練最大的模型。它是端到端協同設計的，旨在最大化智慧體後訓練負載的每美元智慧：每次執行更多的試驗，更多的環境參與，以及永不停止的後訓練迴圈。

後訓練工作流程實際應用：Prime Intellect的實驗室在NVIDIA Blackwell上持續後訓練前沿開放模型，並使用NVIDIA Dynamo進行推理編排。藉助Vera Rubin，Prime Intellect計劃擴充套件強化學習環境，每次執行生成更多試驗，並加速訓練到推理的迭代迴圈，以最大化企業的每美元智慧。Prime Intellect已最佳化其沙箱基礎設施以整合NVIDIA Vera CPU，實現低延遲、高能效的強化學習。開源工具和模型如NVIDIA Nemotron和NVIDIA NeMo Gym也整合到其軟體棧中。在與替代x86架構比較實際RL沙箱工作負載時，Prime Intellect發現Vera每CPU吞吐量平均高出30%。Perplexity的RL後訓練棧在數百個NVIDIA GPU上非同步執行，基於RDMA的權重傳輸引擎在訓練和推理計算節點之間同步萬億引數模型，時間不到兩秒。後訓練後的Qwen3 235B模型隨後在NVIDIA GB200 NVL72系統上提供服務。Together AI提供後訓練即服務，包括監督微調、RL和直接偏好最佳化。該服務透過功能豐富的API和SDK交付，支援其AI Native Cloud平臺上的全套後訓練。它已在NVIDIA平臺和最佳化核心庫上執行，並計劃下一步利用Vera Rubin平臺。

瞭解更多關於NVIDIA Vera Rubin，這是AI工廠跨工作負載最大化每美元智慧的平臺。並探索NVIDIA用於訓練前沿模型的全棧平臺。