NVIDIAは2026年6月12日にarXiv論文を投稿し、同社史上最も高性能な言語モデルであるNemotron 3 Ultraを発表した。このモデルはMixture-of-Experts（MoE）アーキテクチャを採用し、Mamba状態空間モデルとアテンション機構を組み合わせたハイブリッド設計が特徴である。総パラメータ数は5500億に達するが、推論時にアクティブになるのは550億パラメータのみで、計算コストを大幅に抑えつつ高い能力を維持する。このHybrid Mamba-Attention設計により、長い系列の処理効率とTransformerの正確なモデリング能力を両立させている。
訓練プロセスでは、まず20兆のテキストトークンで事前学習を行い、その後コンテキスト長を100万トークンに拡張した。これにより超長文ドキュメントや複雑なマルチターン対話の処理が可能になる。事後学習段階では、教師あり微調整（SFT）、強化学習（RL）、およびマルチティーチャー・オンライン戦略蒸留（MOPD）を組み合わせ、推論や指示追従、エージェントタスクにおける性能を向上させている。論文ではさらに、LatentMoE（潜在Mixture-of-Experts）、マルチトークン予測（MTP）、NVFP4事前学習、マルチ環境RLVR、推論バジェット制御といった複数の主要技術が言及されている。
性能面では、Nemotron 3 Ultraは現在公開されている最先端LLMと同等の精度を保ちながら、推論スループットを最大約6倍向上させることに成功した。この優位性は、効率的なMoEアーキテクチャとNVFP4低精度事前学習技術に主に起因する。高いスループットと100万トークンのコンテキストウィンドウを組み合わせることで、複雑な計画立案、多段階推論、ツール呼び出しなど、長時間実行される自律エージェントタスクに特に適している。
NVIDIAは完全なオープンソース化を約束し、HuggingFace上でベースモデル、事後学習済みモデル、量子化チェックポイントを公開するとともに、訓練データと訓練レシピも公開した。この取り組みは、大規模Mixture-of-Expertsモデルの研究と応用をコミュニティ全体で推進するものと期待される。論文の著者にはAaron Blakeman氏を含む570名以上が名を連ね、NVIDIAがこのプロジェクトに大規模な協力体制で取り組んだことがうかがえる。本研究はcs.CL、cs.AI、cs.LGの分野に分類されており、関連コードとモデル重みはarXivおよびHuggingFaceを通じて入手可能である。