英偉達研究團隊近日發佈了Cosmos 3，這是一系列全模態世界模型，旨在為物理AI提供一個統一的框架。物理AI指的是能夠感知、理解和與物理世界交互的人工智能系統，例如機器人和自動駕駛汽車。Cosmos 3採用混合Transformer架構，能夠同時處理和生成語言、圖像、視頻、音頻和動作序列，從而將視覺語言模型、視頻生成器、世界模擬器和世界動作模型整合到一個系統中。
該模型支持高度靈活的輸入輸出配置，使其能夠處理多種模態的組合。例如，輸入可以是文本和圖像的組合，輸出可以是動作序列或視頻。研究團隊表示，Cosmos 3在多種理解和生成任務上達到了新的最先進水平，證明了全模態世界模型可以作為具身代理的可擴展通用骨幹網絡。在技術報告撰寫時，經過後訓練的Cosmos 3模型被Artificial Analysis評為最佳開源文生圖和圖生視頻模型，並被RoboArena評為最佳策略模型。
為了推動物理AI領域的研究和部署，英偉達已經開源了Cosmos 3的代碼、模型檢查點、精選合成數據集以及評估基準。這些資源遵循Linux基金會的OpenMDW-1.1許可證，可通過GitHub和Hugging Face等平台獲取。項目網站也提供了更多詳細信息。該模型的發佈有望加速物理AI領域的創新，降低研究門檻，併為相關應用提供強大的基礎模型。