NVIDIA发布Nemotron-Labs-3-Puzzle-75B-A9B：一种压缩混合MoE大模型，在相同用户吞吐量下实现2.03倍服务器吞吐量

大型混合MoE模型如Nemotron-3-Super虽然准确，但部署成本高昂。其活跃参数、KV缓存和Mamba状态限制了每个节点在给定每用户令牌速率下可容纳的用户数。NVIDIA AI团队发布了Nemotron-Labs-3-Puzzle-75B-A9B，这是Nemotron-3-Super的压缩变体。父模型拥有1207亿总参数和128亿活跃参数，压缩后模型拥有753亿总参数和93亿活跃参数。

部署目标在架构搜索开始前就已确定：目标一是每用户每秒100令牌下实现2倍服务器吞吐量；目标二是在单个H100上支持8个并发1M令牌请求。Hugging Face上提供了三个检查点：BF16、FP8和NVFP4。

压缩细节 Nemotron-3-Super是一种混合Mamba-Transformer MoE模型。Puzzle-75B-A9B保留了父模型的块布局，共88个块：40个Mamba、40个MoE和8个注意力块。更改的是这些块内部的容量：总参数压缩至62.4%，活跃参数压缩至73.1%，Mamba SSM状态大小从128降至96，MoE路由专家中间大小平均降至59.9%，每令牌激活路由专家数平均降至50%。路由专家数量、共享专家大小和MoE潜在大小保持不变。注意力层未改动，因为Nemotron-3-Super本身已非常高效。Mamba层被均匀剪枝，因为推理框架不支持每层不同的SSM状态大小。

性能与基准测试 在单个8xB200节点上，以单步解码测试，总吞吐量在多种场景下提升1.60x至2.14x。在解码密集的8K/64K场景下，提升最明显，达到2.03x。在单个8xH100节点上，增益略小，但仍达1.82x至1.91x。在单个H100上处理1M上下文时，限制因素从计算转为内存。Super的NVFP4权重占用约70GB HBM，每个1M令牌请求增加约4GB KV缓存，有效并发仅为1。Puzzle-75B-A9B的NVFP4权重仅占44.5GB，并发数提升至8，聚合解码吞吐量约为Super单请求吞吐量的4倍。

迭代式Puzzle机制 Puzzle是一种分解式神经架构搜索框架，通过Puzzletron实现。它定义了一个离散搜索空间，包含多种层实现替代方案，每种方案获得质量分数，然后通过混合整数程序在部署约束下为每层选择一种方案。三种剪枝技术构成搜索空间：中间通道剪枝、top-k缩减和Mamba SSM剪枝。迭代式Puzzle交替进行有界压缩和短知识蒸馏恢复，分三阶段进行：第一阶段将MoE权重压缩至75%容量，Mamba SSM状态至75%，并用240亿令牌恢复；第二阶段将MoE权重压缩至60%，用432亿令牌恢复；第三阶段将激活路由专家预算降至50%，并用528亿令牌恢复。与单步Puzzle相比，三步迭代在十个基准测试上平均得分69.05对68.48，有显著提升。

恢复训练：蒸馏、强化学习与冗长性控制 知识蒸馏使用30%预训练数据和70%来自Nemotron-3-Nano的SFT数据。Puzzle阶段使用32K序列长度，恢复阶段训练至128K，并扩展至512K。RL后训练采用Nemotron-3-Super RL流程的第二阶段，专注于软件工程。短上下文蒸馏将大多数类别恢复至Super的97%以上，长上下文蒸馏则专门提升长输入和长生成基准。冗长性控制方面，最后一次Puzzle迭代后模型生成令牌数为Super的132%，经过完整恢复流程后降至99%。

部署：量化与多令牌预测 提供了两种后训练量化配方：面向Hopper的FP8 W8A8和面向Blackwell的NVFP4 W4A4。两个配方均在256个后训练SFT样本上校准。Puzzle-75B-A9B继承了Super的共享MTP头，通过继续训练解决了训练-推理不匹配问题，在SPEED-Bench上平均接受长度从3.45提升至4.34。

优势与局限 优势：在匹配NVFP4和用户吞吐量下，总吞吐量提升1.60x至2.14x；单H100上1M令牌并发从1提升至8；MTP接受长度改善；长上下文精度在RULER上保持稳定；生成冗长性降至Super的99%。弱点：Arena-Hard-V2下降4.2点，SWE-Bench下降2.6点；RL恢复影响较小；Mamba剪枝均匀；NVFP4 MoE内核需要潜在维度为512的倍数。

用例 超长上下文RAG、交互式编程助手、前缀密集文档处理、代理型SWE循环等场景均有适用性。