NVIDIAの研究チームは2026年6月1日、arXivに技術レポートを投稿し、全モーダル世界モデル「Cosmos 3」シリーズを発表した。このモデル群は、言語、画像、動画、音声、行動系列を単一の混合Transformer（mixture-of-transformers）アーキテクチャ内で同時に処理・生成することを目的として設計されている。
Cosmos 3の重要な特徴は、柔軟な入力・出力構成をサポートする点にある。これにより、物理AI（Physical AI）に不可欠な複数のモダリティをシームレスに統合し、視覚言語モデル、動画生成器、世界シミュレータ、世界行動モデルを実質的に単一のフレームワークに包含する。開発者はタスクごとに専用モデルを用意する必要がなく、単一のバックボーンでマルチモーダル理解から行動生成まで幅広いタスクを実行できる。
評価では、Cosmos 3が多様な理解・生成タスク群において新たな最先端（state-of-the-art）を確立したことが示されている。これは、全モーダル世界モデルが具身エージェント（embodied agents）のためのスケーラブルで汎用的なバックボーンとなり得ることを示唆している。特に、後訓練されたCosmos 3モデルは、技術レポート執筆時点で、Artificial Analysisにより最高のオープンソースText-to-ImageおよびImage-to-Videoモデルに、RoboArenaにより最高のポリシーモデルにそれぞれランク付けされた。これらの第三者評価は、生成品質とロボット制御ポリシーの両面でのリーダーシップを裏付けている。
物理AI分野のオープン研究と実用化を加速するため、研究チームはコード、モデルチェックポイント、厳選された合成データセット、評価ベンチマークをLinux FoundationのOpenMDW-1.1ライセンスの下で公開した。リソースはGitHub（github.com/nvidia/cosmos）およびHugging Face（huggingface.co/collections/nvidia/cosmos3）で入手可能で、プロジェクトサイトはresearch.nvidia.com/labs/cosmos-lab/cosmos3である。本論文はコンピュータビジョンとパターン認識、人工知能、機械学習、マルチメディア、ロボティクスなど複数の分野にまたがり、Aditiを筆頭著者とする多数の共著者によるもので、論文番号はarXiv:2606.02800v1である。