NVIDIA 正式釋出了 Nemotron 3 Nano Omni，這是一款面向真實世界應用的全模態（omni-modal）理解模型，能夠同時處理文本、影像、影片和音訊。該模型基於 Nemotron 3 Nano 30B-A3B 語言骨幹，搭配 C-RADIOv4-H 視覺編碼器和 Parakeet-TDT-0.6B-v2 音訊編碼器，並透過輕量級投影器將各模態特徵對映到統一的嵌入空間。
在多項基準測試中，Nemotron 3 Nano Omni 表現優異。文件理解方面，它在 OCRBenchV2-En 上達到 65.8%，在 MMLongBench-Doc 上達到 57.5%，大幅超越前代模型 Nemotron Nano V2 VL。影片理解方面，Video-MME 得分 72.2%，而結合音訊-影片的 WorldSense 和 DailyOmni 分別取得 55.4% 和 74.1%。語音互動方面，VoiceBench 得分 89.4%，ASR 在 HF Open ASR 上取得 5.95 的低詞錯誤率。與同類模型（如 Qwen3-Omni）相比，Nemotron 3 Nano Omni 在多個領域表現領先，同時效率優勢顯著，最高可實現 9 倍的系統吞吐量提升。
模型架構方面，Nemotron 3 Nano Omni 採用混合 Mamba-Transformer-MoE 設計，包含 23 個 Mamba 選擇性狀態空間層、23 個 MoE 層（128 個專家，top-6 路由）以及 6 個分組查詢注意力層。這種組合在保持強大推理效能的同時，能夠高效處理長多模態上下文。視覺部分支援動態解析度，每個影像可表示為 1024 到 13312 個視覺補丁，適應不同解析度和長寬比。影片處理使用 Conv3D 管狀嵌入，將相鄰幀融合為管狀令牌，並透過高效影片取樣（EVS）丟棄冗餘令牌，從而降低延遲並提升吞吐量。音訊方面，模型原生處理 16kHz 取樣率的音訊，支援長達 20 分鐘的輸入序列，而 LLM 最大上下文長度支援 5 小時以上。
訓練過程採用分階段多模態對齊和上下文擴充套件，隨後進行偏好最佳化和多模態強化學習。NVIDIA 開源了訓練程式碼和資料管道，包括使用 NeMo Data Designer 生成的約 1140 萬合成問答對（約 45B 令牌），這些資料用於增強長文件推理能力，並在 MMLongBench-Doc 上實現了 2.19 倍的準確性提升。
Nemotron 3 Nano Omni 支援多種工作流：長文件分析（如財務報告、學術論文）、影片音訊聯合理解（如帶旁白的螢幕錄製）、智慧體計算機使用（GUI 操作）、混合文件-圖表-敘述推理以及環境聲音和音樂理解。模型以 BF16、FP8 和 NVFP4 精度在 Hugging Face 上開源，並提供技術報告和訓練配方。