Kyutai 近日發佈了 CADRE，一套面向交互式世界模型的開源因果擴散表示自編碼器。該系列視頻自編碼器直指一個核心痛點：動作延遲。許多世界模型直接借用文生視頻生成器的自編碼器，這類自編碼器將多幀打包進單一潛在表示，導致每個動作都要等待。據研究論文，基於 CADRE 的世界模型在單張 H100 上以 20 fps 運行，反應時間在 230 毫秒以內。
CADRE 系列包含 7 個自編碼器，每個約有 4.76 億可訓練參數，外加一個凍結的 8600 萬參數 DINOv3 ViT-B/16。世界模型本身為 12 億參數，視頻分辨率為 288×512，幀率 20 fps，在單張 H100 上以 bf16、批大小 1 運行。量化版本尚未披露。在性能方面，CADRE 構成了延遲-質量前沿的大部分；在與 MIRA、Wan 2.2、Cosmos 和 LTX-2 的 48 項對比中，有 42 項表現更快或更好。最佳成績是駕駛場景 FVD 162.6（CADRE-2×16×16，1 步解碼），而 Wan 2.2 為 599.7；最差的是機器人操作動作跟隨 ARR 0.45（CADRE-2×32×32），而 Wan 2.2 為 0.85。
CADRE 是一族為動作條件世界模型構建的視頻自編碼器。世界模型在自編碼器的潛在空間中生成，因此自編碼器的壓縮方式同時決定了每幀成本和動作延遲。壓縮比記為 τ×s×s，其中 τ 是每個潛在表示的幀數，s 是空間因子。研究給出的延遲為 τ/f 加上生成與解碼時間。當 τ=8、20 fps 時，僅分塊就增加 400 毫秒。人類能察覺自身動作延遲超過約 230 毫秒。
在架構上，編碼器複用 MIRA 配方：凍結的 DINOv3 從每幀提取逐塊特徵，再由一個訓練好的 3D 卷積壓縮為 64 通道潛在表示。7 個成員之間僅此瓶頸不同。解碼器是包含 24 個塊的因果擴散變換器，逐塊流式處理。漸進式自蒸餾教會它在 1 或 2 步內解碼，且無需對抗損失，在單一訓練階段完成。自編碼器在 23 個公開視頻源上訓練，約 7.6 萬小時，涵蓋網絡、機器人、駕駛和遊戲視頻。
評估方面，Kyutai 在每個自編碼器上訓練了相同的 12 億參數因果擴散變換器，覆蓋 4 種環境：機器人操作（ABC）、人類操作（EgoDex）、駕駛（PhysicalAI AV）和室內導航（RealEstate10K）。每個模型先看 2 秒真實視頻，然後生成 4.8 秒。評分涵蓋圖像質量（FID）、運動質量（FVD）和動作跟隨（ARR）。ARR 使用凍結的逆動力學探針，ARR 為 1 表示與真實視頻匹配。
基準測試顯示，單張 H100 上 CADRE-2×32×32 在 1 步解碼下反應 185 毫秒，維持 23.4 fps。Wan 2.2 自編碼器需要 317 毫秒，LTX-2 為 492 毫秒，Cosmos 為 605 毫秒。DC-AE 更快，為 118 毫秒，但逐幀處理。差距在移動相機時最大：駕駛場景 Wan 2.2 FVD 達 599.7，LTX-2 為 913.3；室內導航 LTX-2 的 ARR 降至 0.04。與重新訓練的 MIRA 解碼器相比，1 步擴散解碼器將 FVD 降低 1.4 至 2.5 倍。
研究得出四項發現。第一，用擴散解碼：在強壓縮下，感知迴歸會模糊，而擴散能採樣出清晰的視頻。第二，在自編碼器內壓縮時間：在世界模型內部打補丁會丟失細節，8 幀時 ARR 從 0.72 降到 0.56。第三，相機運動決定壓縮策略：靜止相機能容忍時序壓縮，運動相機則更適合更少幀數和更粗空間令牌。第四，粗令牌首先損害運動：在機器人操作中，32× 空間壓縮使 FVD 比 16× 增加 2.4 倍，而 FID 幾乎不變。
與其它視頻自編碼器相比，CADRE-2×32×32 壓縮為 2×32×32，16 幀產生 1152 個令牌，解碼器為因果擴散 1 至 2 步，動作延遲 185 毫秒，最大 23.4 fps，駕駛 FVD 171.3，機器人操作 FVD 105.0，ARR 0.45，重建 PSNR 22.86。CADRE-2×16×16 則 16 幀 4608 個令牌，延遲 216 毫秒，17.3 fps，駕駛 FVD 162.6，機器人 FVD 47.6，ARR 0.73，PSNR 25.12。MIRA 配方延遲 175 毫秒，26.6 fps，駕駛 FVD 311.6，機器人 FVD 267.1，ARR 0.39。Wan 2.2 VAE 延遲 317 毫秒，34.2 fps，駕駛 FVD 599.7，機器人 FVD 52.9，ARR 0.85，PSNR 35.02。Cosmos CV8x8x8 延遲 605 毫秒，39.0 fps，駕駛 FVD 452.5，機器人 FVD 39.5，ARR 0.78。LTX-2 VAE 延遲 492 毫秒，87.4 fps，駕駛 FVD 913.3，機器人 FVD 69.6，ARR 0.25。
CADRE 並非處處領先。在機器人操作中，Cosmos 的 FVD 為 39.5，而最佳 1 步 CADRE 為 47.6。在快速端，DC-AE 在操作任務中擊敗 CADRE-1×48×48。Wan 2.2 在留出視頻重建上也更好，PSNR 達 35.02 dB。Kyutai 團隊認為重建質量不能預測推演效果，Wan 2.2 在室內推演 FVD 上排名最後。長潛在表示會在塊之間留下可見接縫：τ=8 時，邊界超額在各環境中達 1.6 至 1.8。CADRE-4×24×24 在導航中是異常值，駕駛 FVD 為 403。每個世界模型僅覆蓋一個環境，分辨率 288×512。這些發現能否遷移到通用模型仍待解答。
開發者可通過 MIT 許可的代碼和 Hugging Face 上的 CC BY-NC 4.0 權重（排除商業用途）使用 CADRE。發佈包含 7 個自編碼器、4 個更長訓練的多分辨率版本，以及 4 個基於 CADRE-2×16×16 的世界模型。實時演示允許鍵盤驅動。論文、博客、GitHub 倉庫和模型集合均已公開。