當前的 AI 代理系統在處理視覺、語音和語言任務時，通常需要分別呼叫不同的模型，導致資料在模型間傳遞時產生延遲和上下文丟失。為了解決這一問題，NVIDIA 今日釋出了 Nemotron 3 Nano Omni，這是一款開放的全模態模型（omni-modal model），將視覺、音訊和語言能力整合到一個統一的系統中。該模型能夠處理影片、音訊、影像和文本輸入，並輸出文本，使 AI 代理能夠更快、更智慧地響應，同時具備跨模態的先進推理能力。
Nemotron 3 Nano Omni 在效率上樹立了新的標杆，在多個多模態基準測試中取得領先成績，包括複雜的文件智慧、影片和音訊理解等六個權威榜單。其核心架構為 30B-A3B 的混合專家模型（MoE），結合 Conv3D 和 EVS，支援高達 256K 的上下文長度。與同類開放全模態模型相比，Nemotron 3 Nano Omni 實現了 9 倍的吞吐量提升，從而降低了成本並提高了可擴充套件性，同時保持了響應速度和質量。
在實際應用中，Nemotron 3 Nano Omni 可與其他 Nemotron 模型（如 Nemotron 3 Super 和 Ultra）或第三方專有模型協同工作，為計算機使用代理、文件智慧和音影片推理等場景提供感知子代理能力。例如，H Company 利用該模型構建的計算機使用代理，能夠以 1920×1080 畫素的原生解析度處理螢幕錄製，在 OSWorld 基準測試中展現出顯著的效能提升。此外，該模型還能整合文件中的圖表、表格和混合媒體輸入，以及保持音訊-影片上下文的連貫推理，從而提升客戶服務、研究和監控等應用的效果。
Nemotron 3 Nano Omni 以開放權重、資料集和訓練技術的形式釋出，賦予組織完全透明度和控制權，便於針對特定領域進行定製和部署。開發者可以透過 NVIDIA NeMo 等工具進行模型微調、評估和最佳化。該模型支援從本地系統（如 NVIDIA Jetson、DGX Spark 和 DGX Station）到資料中心和雲環境的一致部署。目前，包括 Aible、Applied Scientific Intelligence (ASI)、Eka Care、Foxconn、H Company、Palantir 和 Pyler 在內的多家 AI 和軟體公司已開始採用該模型，而 Dell Technologies、Docusign、Infosys 等企業正在評估中。模型將於 2026 年 4 月 28 日透過 Hugging Face、OpenRouter、build.nvidia.com 及超過 25 個合作伙伴平臺提供。