Kyutai 近日发布了 CADRE，一套面向交互式世界模型的开源因果扩散表示自编码器。该系列视频自编码器直指一个核心痛点：动作延迟。许多世界模型直接借用文生视频生成器的自编码器，这类自编码器将多帧打包进单一潜在表示，导致每个动作都要等待。据研究论文，基于 CADRE 的世界模型在单张 H100 上以 20 fps 运行，反应时间在 230 毫秒以内。
CADRE 系列包含 7 个自编码器，每个约有 4.76 亿可训练参数，外加一个冻结的 8600 万参数 DINOv3 ViT-B/16。世界模型本身为 12 亿参数，视频分辨率为 288×512，帧率 20 fps，在单张 H100 上以 bf16、批大小 1 运行。量化版本尚未披露。在性能方面，CADRE 构成了延迟-质量前沿的大部分；在与 MIRA、Wan 2.2、Cosmos 和 LTX-2 的 48 项对比中，有 42 项表现更快或更好。最佳成绩是驾驶场景 FVD 162.6（CADRE-2×16×16，1 步解码），而 Wan 2.2 为 599.7；最差的是机器人操作动作跟随 ARR 0.45（CADRE-2×32×32），而 Wan 2.2 为 0.85。
CADRE 是一族为动作条件世界模型构建的视频自编码器。世界模型在自编码器的潜在空间中生成，因此自编码器的压缩方式同时决定了每帧成本和动作延迟。压缩比记为 τ×s×s，其中 τ 是每个潜在表示的帧数，s 是空间因子。研究给出的延迟为 τ/f 加上生成与解码时间。当 τ=8、20 fps 时，仅分块就增加 400 毫秒。人类能察觉自身动作延迟超过约 230 毫秒。
在架构上，编码器复用 MIRA 配方：冻结的 DINOv3 从每帧提取逐块特征，再由一个训练好的 3D 卷积压缩为 64 通道潜在表示。7 个成员之间仅此瓶颈不同。解码器是包含 24 个块的因果扩散变换器，逐块流式处理。渐进式自蒸馏教会它在 1 或 2 步内解码，且无需对抗损失，在单一训练阶段完成。自编码器在 23 个公开视频源上训练，约 7.6 万小时，涵盖网络、机器人、驾驶和游戏视频。
评估方面，Kyutai 在每个自编码器上训练了相同的 12 亿参数因果扩散变换器，覆盖 4 种环境：机器人操作（ABC）、人类操作（EgoDex）、驾驶（PhysicalAI AV）和室内导航（RealEstate10K）。每个模型先看 2 秒真实视频，然后生成 4.8 秒。评分涵盖图像质量（FID）、运动质量（FVD）和动作跟随（ARR）。ARR 使用冻结的逆动力学探针，ARR 为 1 表示与真实视频匹配。
基准测试显示，单张 H100 上 CADRE-2×32×32 在 1 步解码下反应 185 毫秒，维持 23.4 fps。Wan 2.2 自编码器需要 317 毫秒，LTX-2 为 492 毫秒，Cosmos 为 605 毫秒。DC-AE 更快，为 118 毫秒，但逐帧处理。差距在移动相机时最大：驾驶场景 Wan 2.2 FVD 达 599.7，LTX-2 为 913.3；室内导航 LTX-2 的 ARR 降至 0.04。与重新训练的 MIRA 解码器相比，1 步扩散解码器将 FVD 降低 1.4 至 2.5 倍。
研究得出四项发现。第一，用扩散解码：在强压缩下，感知回归会模糊，而扩散能采样出清晰的视频。第二，在自编码器内压缩时间：在世界模型内部打补丁会丢失细节，8 帧时 ARR 从 0.72 降到 0.56。第三，相机运动决定压缩策略：静止相机能容忍时序压缩，运动相机则更适合更少帧数和更粗空间令牌。第四，粗令牌首先损害运动：在机器人操作中，32× 空间压缩使 FVD 比 16× 增加 2.4 倍，而 FID 几乎不变。
与其它视频自编码器相比，CADRE-2×32×32 压缩为 2×32×32，16 帧产生 1152 个令牌，解码器为因果扩散 1 至 2 步，动作延迟 185 毫秒，最大 23.4 fps，驾驶 FVD 171.3，机器人操作 FVD 105.0，ARR 0.45，重建 PSNR 22.86。CADRE-2×16×16 则 16 帧 4608 个令牌，延迟 216 毫秒，17.3 fps，驾驶 FVD 162.6，机器人 FVD 47.6，ARR 0.73，PSNR 25.12。MIRA 配方延迟 175 毫秒，26.6 fps，驾驶 FVD 311.6，机器人 FVD 267.1，ARR 0.39。Wan 2.2 VAE 延迟 317 毫秒，34.2 fps，驾驶 FVD 599.7，机器人 FVD 52.9，ARR 0.85，PSNR 35.02。Cosmos CV8x8x8 延迟 605 毫秒，39.0 fps，驾驶 FVD 452.5，机器人 FVD 39.5，ARR 0.78。LTX-2 VAE 延迟 492 毫秒，87.4 fps，驾驶 FVD 913.3，机器人 FVD 69.6，ARR 0.25。
CADRE 并非处处领先。在机器人操作中，Cosmos 的 FVD 为 39.5，而最佳 1 步 CADRE 为 47.6。在快速端，DC-AE 在操作任务中击败 CADRE-1×48×48。Wan 2.2 在留出视频重建上也更好，PSNR 达 35.02 dB。Kyutai 团队认为重建质量不能预测推演效果，Wan 2.2 在室内推演 FVD 上排名最后。长潜在表示会在块之间留下可见接缝：τ=8 时，边界超额在各环境中达 1.6 至 1.8。CADRE-4×24×24 在导航中是异常值，驾驶 FVD 为 403。每个世界模型仅覆盖一个环境，分辨率 288×512。这些发现能否迁移到通用模型仍待解答。
开发者可通过 MIT 许可的代码和 Hugging Face 上的 CC BY-NC 4.0 权重（排除商业用途）使用 CADRE。发布包含 7 个自编码器、4 个更长训练的多分辨率版本，以及 4 个基于 CADRE-2×16×16 的世界模型。实时演示允许键盘驱动。论文、博客、GitHub 仓库和模型集合均已公开。