NVIDIA發佈Nemotron-Labs-3-Puzzle-75B-A9B：一種壓縮混合MoE大模型，在相同用户吞吐量下實現2.03倍服務器吞吐量

大型混合MoE模型如Nemotron-3-Super雖然準確，但部署成本高昂。其活躍參數、KV緩存和Mamba狀態限制了每個節點在給定每用户令牌速率下可容納的用户數。NVIDIA AI團隊發佈了Nemotron-Labs-3-Puzzle-75B-A9B，這是Nemotron-3-Super的壓縮變體。父模型擁有1207億總參數和128億活躍參數，壓縮後模型擁有753億總參數和93億活躍參數。

部署目標在架構搜索開始前就已確定：目標一是每用户每秒100令牌下實現2倍服務器吞吐量；目標二是在單個H100上支持8個併發1M令牌請求。Hugging Face上提供了三個檢查點：BF16、FP8和NVFP4。

壓縮細節 Nemotron-3-Super是一種混合Mamba-Transformer MoE模型。Puzzle-75B-A9B保留了父模型的塊佈局，共88個塊：40個Mamba、40個MoE和8個注意力塊。更改的是這些塊內部的容量：總參數壓縮至62.4%，活躍參數壓縮至73.1%，Mamba SSM狀態大小從128降至96，MoE路由專家中間大小平均降至59.9%，每令牌激活路由專家數平均降至50%。路由專家數量、共享專家大小和MoE潛在大小保持不變。注意力層未改動，因為Nemotron-3-Super本身已非常高效。Mamba層被均勻剪枝，因為推理框架不支持每層不同的SSM狀態大小。

性能與基準測試 在單個8xB200節點上，以單步解碼測試，總吞吐量在多種場景下提升1.60x至2.14x。在解碼密集的8K/64K場景下，提升最明顯，達到2.03x。在單個8xH100節點上，增益略小，但仍達1.82x至1.91x。在單個H100上處理1M上下文時，限制因素從計算轉為內存。Super的NVFP4權重佔用約70GB HBM，每個1M令牌請求增加約4GB KV緩存，有效併發僅為1。Puzzle-75B-A9B的NVFP4權重僅佔44.5GB，併發數提升至8，聚合解碼吞吐量約為Super單請求吞吐量的4倍。

迭代式Puzzle機制 Puzzle是一種分解式神經架構搜索框架，通過Puzzletron實現。它定義了一個離散搜索空間，包含多種層實現替代方案，每種方案獲得質量分數，然後通過混合整數程序在部署約束下為每層選擇一種方案。三種剪枝技術構成搜索空間：中間通道剪枝、top-k縮減和Mamba SSM剪枝。迭代式Puzzle交替進行有界壓縮和短知識蒸餾恢復，分三階段進行：第一階段將MoE權重壓縮至75%容量，Mamba SSM狀態至75%，並用240億令牌恢復；第二階段將MoE權重壓縮至60%，用432億令牌恢復；第三階段將激活路由專家預算降至50%，並用528億令牌恢復。與單步Puzzle相比，三步迭代在十個基準測試上平均得分69.05對68.48，有顯著提升。

恢復訓練：蒸餾、強化學習與冗長性控制 知識蒸餾使用30%預訓練數據和70%來自Nemotron-3-Nano的SFT數據。Puzzle階段使用32K序列長度，恢復階段訓練至128K，並擴展至512K。RL後訓練採用Nemotron-3-Super RL流程的第二階段，專注於軟件工程。短上下文蒸餾將大多數類別恢復至Super的97%以上，長上下文蒸餾則專門提升長輸入和長生成基準。冗長性控制方面，最後一次Puzzle迭代後模型生成令牌數為Super的132%，經過完整恢復流程後降至99%。

部署：量化與多令牌預測 提供了兩種後訓練量化配方：面向Hopper的FP8 W8A8和麪向Blackwell的NVFP4 W4A4。兩個配方均在256個後訓練SFT樣本上校準。Puzzle-75B-A9B繼承了Super的共享MTP頭，通過繼續訓練解決了訓練-推理不匹配問題，在SPEED-Bench上平均接受長度從3.45提升至4.34。

優勢與侷限 優勢：在匹配NVFP4和用户吞吐量下，總吞吐量提升1.60x至2.14x；單H100上1M令牌併發從1提升至8；MTP接受長度改善；長上下文精度在RULER上保持穩定；生成冗長性降至Super的99%。弱點：Arena-Hard-V2下降4.2點，SWE-Bench下降2.6點；RL恢復影響較小；Mamba剪枝均勻；NVFP4 MoE內核需要潛在維度為512的倍數。

用例 超長上下文RAG、交互式編程助手、前綴密集文檔處理、代理型SWE循環等場景均有適用性。