NVIDIA 发布 Cosmos 3 Edge：40亿参数开放世界模型，实现设备端机器人动作推理与生成

NVIDIA 发布了 Cosmos 3 Edge，这是一个拥有40亿参数的开放世界模型，专为设备端运行而设计。它使机器人和视觉 AI 代理能够理解周围环境、实时推理并在本地生成机器人动作。

Cosmos 3 系列此前包括于2026年5月31日在 GTC 台北发布的 Cosmos 3 Nano（160亿参数）和 Cosmos 3 Super（640亿参数）。Edge 是第三也是最小的型号，大小约为 Super 的十六分之一。该模型针对工厂、仓库和医院中的特定边缘场景进行优化，这些场景中的机器需要在内存受限的系统上实现数据中心级别的性能。

世界模型在本模型中扮演关键角色。它学习环境随时间变化的方式，表示物体、运动、空间关系以及动作的效果。例如，一个机器人伸手抓取物体时，不仅需要识别物体，还要追踪物体的位置、其夹爪的运动以及接触时发生的情况。世界模型能够推理这些关系，预测动作的视觉结果，推断引起变化的动作，或生成实现目标的动作。Cosmos 3 Edge 将这些能力集成到单个设备端模型中，通过共享表示让系统理解当前世界状态、模拟可能的未来，并将这些未来与动作连接起来。

在架构上，Cosmos 3 采用混合变换器设计，包含两个塔。自回归塔处理视觉和文本令牌，用于理解和推理；扩散塔处理视觉、音频和动作令牌，用于预测、生成和神经模拟。两个塔保持独立的归一化层和多层感知器，但共享多模态注意力层，从而在语言、视频、音频和动作之间对齐信息。这使得模型在生成输出之前能够推理场景。注意力模式根据模态自适应调整：语言使用因果注意力，每个令牌仅关注之前的令牌；扩散令牌更广泛地关注可用上下文，以支持连贯的预测和生成。根据任务，模型从自回归塔输出推理令牌，或从扩散塔输出去噪后的视频和动作令牌。Cosmos 3 Edge 使用一个20亿参数的密集变换器作为其推理器，并遵循 Qwen3-VL 兼容的消息约定来处理图像和视频输入。

物理系统以不同方式描述动作：车辆使用自身姿态和移动，相机使用相机运动，机械臂使用末端执行器姿态，夹爪添加抓取状态。Cosmos 3 将这些具身映射到一个通用动作表示中，将动作编码为紧凑的几何向量，捕获平移、旋转和操作状态。这有助于将控制与世界的视觉结构联系起来，使得生成的视频不仅仅是预测，而是表示世界应如何响应动作而改变。支持的动-作维度取决于具身类型，包括相机运动（9D）、自动驾驶车辆（9D）、自我中心运动（57D）、单臂机器人（10D）、双臂机器人（20D）和人形机器人（29D）。

在策略模式下，Cosmos 3 Edge 预测动作及其预期的视觉后果。输入当前状态，输出动作和可能的视觉结果。动作流双向进行：模型可以预测动作的效果，也可以从效果推断动作。这直接将世界建模与机器人策略训练和评估联系起来。NVIDIA 还发布了 Cosmos 3 Edge Policy (DROID)，这是一个基于 DROID 数据集后训练的机器人操作策略，用于拾取和放置任务。开发者可以在小型 H100 集群或 NVIDIA DGX Station 上进行微调后部署。

在部署方面，Cosmos 3 Edge 在 NVIDIA 边缘计算机上实现高效推理，目标设备包括 NVIDIA RTX PRO GPU、NVIDIA DGX、GeForce RTX GPU 以及 NVIDIA Jetson（包括新发布的 Jetson T2000 和 T3000 模块）。作为后训练的世界动作模型，它以640×360的观测分辨率运行，在 NVIDIA Jetson Thor 上每次推理生成32个动作，实现15 Hz的实时控制。对于生成，Edge 型号支持256p和480p分辨率，12-30 fps，以及50-150帧。开发者可以使用开放的 Cosmos 框架在大约一天内针对特定具身和传感器集进行后训练。NVIDIA 将 GeForce RTX 3070 或更高版本定位为本地原型设计的入门配置。

关键要点：Cosmos 3 Edge 是一个40亿参数的开放世界模型，于7月20日在 Hugging Face 上发布；其混合变换器设计通过共享多模态注意力将自回归推理塔与扩散生成塔配对；在 Jetson Thor 上达到640×360控制分辨率、每次推理32个动作和15 Hz实时控制；动作映射到平移/旋转/操作的通用表示，涵盖相机、车辆、单臂、双臂和人形机器人；在 VANTAGE-Bench 上声称在40亿参数规模排名第一，模型以 Linux Foundation OpenMDW-1.1 许可发布。