英伟达研究团队于2026年6月1日在arXiv上提交了技术报告，正式推出Cosmos 3系列全模态世界模型。该系列模型的核心设计目标是在一个统一的混合Transformer架构内，同时处理并生成语言、图像、视频、音频和动作序列，从而为物理AI（Physical AI）提供通用的基础模型。
Cosmos 3的一个关键创新在于其高度灵活的输入输出配置。通过这种灵活性，模型能够无缝整合物理AI所需的多种关键模态，实际上将视觉语言模型、视频生成器、世界模拟器和世界动作模型统一到同一个框架之下。这意味着开发者不再需要为不同的任务分别部署多个专用模型，而是可以借助一个统一的骨干网络完成从多模态理解到动作生成的多种任务。
在评估方面，研究团队报告称Cosmos 3在多样化的理解与生成任务套件上均建立了新的最先进水平（state-of-the-art）。这一结果表明，全模态世界模型有潜力成为具身智能体（embodied agents）的可扩展、通用型骨干网络。特别值得注意的是，经过后训练的Cosmos 3模型在技术报告撰写时，被Artificial Analysis评为最佳开源文本到图像（Text-to-Image）和图像到视频（Image-to-Video）模型，同时被RoboArena评为最佳策略模型（policy model）。这些第三方排名进一步印证了该模型在生成质量和机器人控制策略方面的领先地位。
为了加速物理AI领域的开放研究和部署，研究团队在Linux基金会的OpenMDW-1.1许可证下公开了代码、模型检查点、经过整理的合成数据集以及评估基准。相关资源已发布在GitHub（github.com/nvidia/cosmos）和Hugging Face（huggingface.co/collections/nvidia/cosmos3）上，项目主页为research.nvidia.com/labs/cosmos-lab/cosmos3。该论文涉及计算机视觉与模式识别、人工智能、机器学习、多媒体和机器人学等多个学科方向，合作者众多，第一作者为Aditi，提交人为Yin Cui，论文编号为arXiv:2606.02800v1。