現在のAIエージェントシステムは、視覚、音声、言語の各タスクに別々のモデルを使用しており、データをモデル間で受け渡す際に時間とコンテキストが失われるという問題があります。この課題を解決するため、NVIDIAは本日、Nemotron 3 Nano Omniを発表しました。これは、視覚、音声、言語の機能を1つのシステムに統合したオープンな全モーダルモデル（omni-modal model）です。ビデオ、オーディオ、画像、テキストを入力として処理し、テキストを出力することで、AIエージェントはより高速でスマートな応答を実現し、クロスモーダルな高度な推論が可能になります。
Nemotron 3 Nano Omniは、複雑な文書インテリジェンス、ビデオおよびオーディオ理解など、6つの主要なリーダーボードでトップの精度を達成し、効率性において新たな基準を打ち立てました。そのコアアーキテクチャは30B-A3Bのハイブリッド混合エキスパートモデル（MoE）で、Conv3DとEVSを組み合わせ、最大256Kのコンテキスト長をサポートします。他のオープンな全モーダルモデルと比較して9倍のスループットを実現し、コスト削減と拡張性の向上を可能にしつつ、応答性と品質を維持します。
実用的な応用として、Nemotron 3 Nano Omniは、Nemotron 3 SuperやUltra、あるいはサードパーティの専用モデルと連携して、コンピューター操作エージェント、文書インテリジェンス、音声・ビデオ推論などのシナリオでサブエージェントとして機能します。例えば、H Companyはこのモデルを活用して、1920×1080ピクセルのネイティブ解像度で画面録画を処理するコンピューター操作エージェントを構築し、OSWorldベンチマークで顕著な性能向上を示しました。さらに、文書内の図表、表、マルチメディア入力を解釈し、音声・ビデオのコンテキストを維持しながら統合的な推論を行うことで、カスタマーサービス、リサーチ、モニタリングなどのワークフローを強化します。
Nemotron 3 Nano Omniは、オープンな重み、データセット、トレーニング技術とともにリリースされ、組織は完全な透明性と制御のもとでモデルをカスタマイズおよびデプロイできます。開発者はNVIDIA NeMoなどのツールを使用して、ドメイン固有のユースケースに合わせたファインチューニング、評価、最適化が可能です。このモデルは、NVIDIA Jetson、DGX Spark、DGX Stationなどのローカルシステムからデータセンター、クラウド環境まで一貫してデプロイできます。すでにAible、Applied Scientific Intelligence (ASI)、Eka Care、Foxconn、H Company、Palantir、Pylerなどの企業が採用を開始しており、Dell Technologies、Docusign、Infosys、K-Dense、Lila、Oracle、Zefrなどが評価を行っています。モデルは2026年4月28日より、Hugging Face、OpenRouter、build.nvidia.com、および25以上のパートナープラットフォームを通じて提供されます。