当前的 AI 代理系统在处理视觉、语音和语言任务时，通常需要分别调用不同的模型，导致数据在模型间传递时产生延迟和上下文丢失。为了解决这一问题，NVIDIA 今日发布了 Nemotron 3 Nano Omni，这是一款开放的全模态模型（omni-modal model），将视觉、音频和语言能力整合到一个统一的系统中。该模型能够处理视频、音频、图像和文本输入，并输出文本，使 AI 代理能够更快、更智能地响应，同时具备跨模态的先进推理能力。
Nemotron 3 Nano Omni 在效率上树立了新的标杆，在多个多模态基准测试中取得领先成绩，包括复杂的文档智能、视频和音频理解等六个权威榜单。其核心架构为 30B-A3B 的混合专家模型（MoE），结合 Conv3D 和 EVS，支持高达 256K 的上下文长度。与同类开放全模态模型相比，Nemotron 3 Nano Omni 实现了 9 倍的吞吐量提升，从而降低了成本并提高了可扩展性，同时保持了响应速度和质量。
在实际应用中，Nemotron 3 Nano Omni 可与其他 Nemotron 模型（如 Nemotron 3 Super 和 Ultra）或第三方专有模型协同工作，为计算机使用代理、文档智能和音视频推理等场景提供感知子代理能力。例如，H Company 利用该模型构建的计算机使用代理，能够以 1920×1080 像素的原生分辨率处理屏幕录制，在 OSWorld 基准测试中展现出显著的性能提升。此外，该模型还能整合文档中的图表、表格和混合媒体输入，以及保持音频-视频上下文的连贯推理，从而提升客户服务、研究和监控等应用的效果。
Nemotron 3 Nano Omni 以开放权重、数据集和训练技术的形式发布，赋予组织完全透明度和控制权，便于针对特定领域进行定制和部署。开发者可以通过 NVIDIA NeMo 等工具进行模型微调、评估和优化。该模型支持从本地系统（如 NVIDIA Jetson、DGX Spark 和 DGX Station）到数据中心和云环境的一致部署。目前，包括 Aible、Applied Scientific Intelligence (ASI)、Eka Care、Foxconn、H Company、Palantir 和 Pyler 在内的多家 AI 和软件公司已开始采用该模型，而 Dell Technologies、Docusign、Infosys 等企业正在评估中。模型将于 2026 年 4 月 28 日通过 Hugging Face、OpenRouter、build.nvidia.com 及超过 25 个合作伙伴平台提供。