NVIDIA、Nemotron-Labs-3-Puzzle-75B-A9Bをリリース：圧縮ハイブリッドMoE LLM、同一ユーザースループットでサーバースループット2.03倍を実現

大規模ハイブリッドMoEモデル（例：Nemotron-3-Super）は高精度だが、サービングコストが高い。アクティブパラメータ、KVキャッシュ、Mamba状態が、ノードが一定のユーザートークンレートで保持できるユーザー数を制限する。NVIDIA AIチームは、Nemotron-3-Superの圧縮版であるNemotron-Labs-3-Puzzle-75B-A9Bをリリースした。親モデルは総パラメータ1207億、アクティブ128億。圧縮モデルは総パラメータ753億、アクティブ93億。

デプロイメント目標はアーキテクチャ探索前に固定された。目標1はユーザー毎秒100トークンでサーバースループット2倍。目標2は単一H100で8つの同時1Mトークンリクエスト。Hugging Faceで3つのチェックポイント（BF16、FP8、NVFP4）が公開されている。

圧縮の詳細 Nemotron-3-SuperはハイブリッドMamba-Transformer MoEモデル。Puzzle-75B-A9Bは親のブロックレイアウトを正確に維持し、88ブロック（Mamba 40、MoE 40、アテンション8）で構成。変更されたのは内部容量：総パラメータ62.4%、アクティブパラメータ73.1%、Mamba SSM状態サイズ128→96、MoEルーティングエキスパート中間サイズ平均59.9%、トークンあたりのアクティブルーティングエキスパート数平均50%。ルーティングエキスパート数、共有エキスパートサイズ、MoE潜在サイズは不変。アテンション層は変更なし（Nemotron-3-Superは既にKVキャッシュ効率が高いため）。Mamba層は均一に刈り込まれた（推論フレームワークが層ごとに異なるSSM状態サイズをサポートしないため）。

性能とベンチマーク 単一8xB200ノードでの単ステップ復号テストでは、複数シナリオで総スループットが1.60～2.14倍向上。復号負荷の高い8K/64Kシナリオで最も顕著（2.03倍）。単一8xH100ノードでは向上はやや小さいが、それでも1.82～1.91倍。単一H100で1Mコンテキストを処理する場合、制約は計算からメモリに移る。SuperのNVFP4重みは約70GBのHBMを占有し、1リクエストあたり約4GBのKVキャッシュが追加されるため、実効同時実行数は1。Puzzle-75B-A9BのNVFP4重みは約44.5GBで、同時実行数は8に増加。この同時実行数での総復号スループットはSuperの単一リクエストスループットの約4倍。

反復的Puzzleの仕組み Puzzleは分解型ニューラルアーキテクチャ探索フレームワークで、Puzzletronとして実装。代替層実装の離散探索空間を定義し、各代替案に品質スコアを割り当て、混合整数計画法でデプロイメント制約下で各層の選択を行う。3つの刈り込み技術が探索空間を構成：中間チャネル刈り込み、top-k削減、Mamba SSM刈り込み。反復的Puzzleは有界圧縮と短い知識蒸留回復フェーズを交互に行い、3段階で実施：第1段階はMoE重みを75%容量、Mamba SSM状態を75%に圧縮し、240億トークンで回復。第2段階はMoE重みを60%に圧縮し、432億トークンで回復。第3段階はアクティブルーティングエキスパート予算を50%に削減し、528億トークンで回復。単一ステップPuzzleと比較して、3ステップ反復は10ベンチマーク平均で69.05対68.48と向上。

回復訓練：蒸留、強化学習、冗長性制御 知識蒸留は30%の事前学習データと70%のNemotron-3-Nano由来SFTデータを使用。Puzzleフェーズでは32K系列長、回復フェーズでは128K、さらに512Kに拡張。RL後訓練はNemotron-3-Super RLパイプラインの第2段階を採用し、ソフトウェア工学に焦点。短文脈蒸留はほとんどのカテゴリをSuperの97%以上に回復。長文脈蒸留は長入力・長生成ベンチマークを特に向上。冗長性制御：最終Puzzle反復後、モデルの生成トークン数はSuperの132%だったが、完全回復後は99%に低下。

デプロイメント：量子化とマルチトークン予測 2つの後訓練量子化レシピを提供：Hopper向けFP8 W8A8、Blackwell向けNVFP4 W4A4。Puzzle-75B-A9BはSuperの共有MTPヘッドを継承し、訓練-推論ミスマッチを解消するための継続訓練により、SPEED-Benchでの平均受付長が3.45から4.34に向上。

強みと弱み 強み：同一NVFP4およびユーザースループットで総スループット1.60～2.14倍、単一H100で1Mトークン同時実行数1→8、MTP受付長改善、長文脈精度安定、生成冗長性99%。弱み：Arena-Hard-V2が4.2ポイント、SWE-Benchが2.6ポイント低下、RL回復の影響が小さい、Mamba刈り込みが均一、NVFP4 MoEカーネルに潜在次元512の倍数が必要。

ユースケース 超長文脈RAG、対話型コーディングアシスタント、プリフィル負荷の高いドキュメントパイプライン、エージェント型SWEループなどに適用可能。