NVIDIA 發佈 Cosmos 3 Edge：40億參數開放世界模型，實現設備端機器人動作推理與生成

NVIDIA 發佈了 Cosmos 3 Edge，這是一個擁有40億參數的開放世界模型，專為設備端運行而設計。它使機器人和視覺 AI 代理能夠理解周圍環境、實時推理並在本地生成機器人動作。

Cosmos 3 系列此前包括於2026年5月31日在 GTC 台北發佈的 Cosmos 3 Nano（160億參數）和 Cosmos 3 Super（640億參數）。Edge 是第三也是最小的型號，大小約為 Super 的十六分之一。該模型針對工廠、倉庫和醫院中的特定邊緣場景進行優化，這些場景中的機器需要在內存受限的系統上實現數據中心級別的性能。

世界模型在本模型中扮演關鍵角色。它學習環境隨時間變化的方式，表示物體、運動、空間關係以及動作的效果。例如，一個機器人伸手抓取物體時，不僅需要識別物體，還要追蹤物體的位置、其夾爪的運動以及接觸時發生的情況。世界模型能夠推理這些關係，預測動作的視覺結果，推斷引起變化的動作，或生成實現目標的動作。Cosmos 3 Edge 將這些能力集成到單個設備端模型中，通過共享表示讓系統理解當前世界狀態、模擬可能的未來，並將這些未來與動作連接起來。

在架構上，Cosmos 3 採用混合變換器設計，包含兩個塔。自迴歸塔處理視覺和文本令牌，用於理解和推理；擴散塔處理視覺、音頻和動作令牌，用於預測、生成和神經模擬。兩個塔保持獨立的歸一化層和多層感知器，但共享多模態注意力層，從而在語言、視頻、音頻和動作之間對齊信息。這使得模型在生成輸出之前能夠推理場景。注意力模式根據模態自適應調整：語言使用因果注意力，每個令牌僅關注之前的令牌；擴散令牌更廣泛地關注可用上下文，以支持連貫的預測和生成。根據任務，模型從自迴歸塔輸出推理令牌，或從擴散塔輸出去噪後的視頻和動作令牌。Cosmos 3 Edge 使用一個20億參數的密集變換器作為其推理器，並遵循 Qwen3-VL 兼容的消息約定來處理圖像和視頻輸入。

物理系統以不同方式描述動作：車輛使用自身姿態和移動，相機使用相機運動，機械臂使用末端執行器姿態，夾爪添加抓取狀態。Cosmos 3 將這些具身映射到一個通用動作表示中，將動作編碼為緊湊的幾何向量，捕獲平移、旋轉和操作狀態。這有助於將控制與世界的視覺結構聯繫起來，使得生成的視頻不僅僅是預測，而是表示世界應如何響應動作而改變。支持的動-作維度取決於具身類型，包括相機運動（9D）、自動駕駛車輛（9D）、自我中心運動（57D）、單臂機器人（10D）、雙臂機器人（20D）和人形機器人（29D）。

在策略模式下，Cosmos 3 Edge 預測動作及其預期的視覺後果。輸入當前狀態，輸出動作和可能的視覺結果。動作流雙向進行：模型可以預測動作的效果，也可以從效果推斷動作。這直接將世界建模與機器人策略訓練和評估聯繫起來。NVIDIA 還發布了 Cosmos 3 Edge Policy (DROID)，這是一個基於 DROID 數據集後訓練的機器人操作策略，用於拾取和放置任務。開發者可以在小型 H100 集羣或 NVIDIA DGX Station 上進行微調後部署。

在部署方面，Cosmos 3 Edge 在 NVIDIA 邊緣計算機上實現高效推理，目標設備包括 NVIDIA RTX PRO GPU、NVIDIA DGX、GeForce RTX GPU 以及 NVIDIA Jetson（包括新發布的 Jetson T2000 和 T3000 模塊）。作為後訓練的世界動作模型，它以640×360的觀測分辨率運行，在 NVIDIA Jetson Thor 上每次推理生成32個動作，實現15 Hz的實時控制。對於生成，Edge 型號支持256p和480p分辨率，12-30 fps，以及50-150幀。開發者可以使用開放的 Cosmos 框架在大約一天內針對特定具身和傳感器集進行後訓練。NVIDIA 將 GeForce RTX 3070 或更高版本定位為本地原型設計的入門配置。

關鍵要點：Cosmos 3 Edge 是一個40億參數的開放世界模型，於7月20日在 Hugging Face 上發佈；其混合變換器設計通過共享多模態注意力將自迴歸推理塔與擴散生成塔配對；在 Jetson Thor 上達到640×360控制分辨率、每次推理32個動作和15 Hz實時控制；動作映射到平移/旋轉/操作的通用表示，涵蓋相機、車輛、單臂、雙臂和人形機器人；在 VANTAGE-Bench 上聲稱在40億參數規模排名第一，模型以 Linux Foundation OpenMDW-1.1 許可發佈。