Kyutaiは最近、インタラクティブなワールドモデル向けのオープンな因果拡散表現オートエンコーダ「CADRE」を発表した。このビデオオートエンコーダシリーズは、動作遅延という一つの問題に焦点を当てている。多くのワールドモデルはテキスト・トゥ・ビデオ生成器のオートエンコーダを流用しており、これらは複数フレームを単一の潜在表現にまとめるため、各動作に待ち時間が生じる。論文によれば、CADREベースのワールドモデルはH100 1枚で20 fpsで動作し、230ms以内に反応する。
CADREファミリーは7つのオートエンコーダで構成され、各々約4.76億の学習可能パラメータに加え、凍結された8600万パラメータのDINOv3 ViT-B/16を持つ。ワールドモデル自体は12億パラメータで、解像度288×512、20 fps、H100 1枚（bf16、バッチ1）で動作する。量子化版は未公開。性能面では、CADREはレイテンシ・品質フロンティアの大部分を形成しており、MIRA、Wan 2.2、Cosmos、LTX-2との48比較中42で高速または高品質。最良は運転FVD 162.6（CADRE-2×16×16、1ステップデコード）でWan 2.2の599.7に対し、最悪はロボット操作の行動追従ARR 0.45（CADRE-2×32×32）でWan 2.2の0.85に対し劣る。
CADREは、行動条件付きワールドモデル向けに構築されたビデオオートエンコーダ群である。ワールドモデルはオートエンコーダの潜在空間で生成するため、圧縮方式がフレームあたりのコストと動作遅延の両方を決定する。圧縮はτ×s×sで表され、τは潜在表現あたりのフレーム数、sは空間係数。遅延はτ/fに生成・デコード時間を加えたもの。τ=8、20 fpsではチャンクだけで400msが加算される。人間は自身の動きの遅延が約230msを超えると認識する。
アーキテクチャでは、エンコーダはMIRAのレシピを踏襲。凍結DINOv3が各フレームからパッチごとの特徴を抽出し、学習済み3D畳み込みが64チャネルの潜在表現に圧縮する。7つのメンバー間で変わるのはこのボトルネックのみ。デコーダは24ブロックの因果拡散トランスフォーマーで、チャンクごとにストリーミング処理する。漸進的自己蒸留により1～2ステップでのデコードを学習し、敵対的損失なしで単一の学習段階で行われる。学習データは23の公開ビデオソース、約7.6万時間で、ウェブ、ロボット、運転、ゲーム動画を含む。
評価では、Kyutaiは各オートエンコーダ上で同じ12億パラメータの因果拡散トランスフォーマーを学習。ロボット操作（ABC）、人間操作（EgoDex）、運転（PhysicalAI AV）、屋内ナビゲーション（RealEstate10K）の4環境を使用。各モデルは2秒の実ビデオを見てから4.8秒を生成する。スコアは画像品質（FID）、動き品質（FVD）、行動追従（ARR）をカバー。ARRは凍結された逆動力学プローブを使用し、1が実ビデオと一致する。
ベンチマークでは、H100 1枚でCADRE-2×32×32は1ステップデコードで185msで反応し、23.4 fpsを維持。Wan 2.2オートエンコーダは317ms、LTX-2は492ms、Cosmosは605ms。DC-AEは118msと高速だがフレーム単位。差はカメラ移動時に最大で、運転ではWan 2.2のFVDが599.7、LTX-2が913.3。屋内ナビゲーションではLTX-2のARRが0.04に低下。再学習したMIRAデコーダに対し、1ステップ拡散デコーダはFVDを1.4～2.5倍低減する。
研究から4つの知見が得られた。第一に拡散でデコード：強圧縮では知覚回帰がぼやけるが、拡散はシャープなビデオを1サンプルする。第二にオートエンコーダ内で時間圧縮：ワールドモデル内でのパッチ処理は詳細を失い、8フレームでARRが0.72から0.56に低下。第三にカメラ運動が圧縮を決める：静止カメラは時間圧縮を許容するが、動くカメラはフレーム数を減らし空間トークンを粗くする方が良い。第四に粗いトークンは動きを先に損なう：ロボット操作で32×空間圧縮はFVDを16×比で2.4倍にするが、FIDはほとんど変わらない。
他のビデオオートエンコーダとの比較では、CADRE-2×32×32は圧縮2×32×32、16フレームで1152トークン、因果拡散1～2ステップ、動作遅延185ms、最大23.4 fps、運転FVD 171.3、ロボットFVD 105.0、ARR 0.45、再構成PSNR 22.86。CADRE-2×16×16は16フレーム4608トークン、遅延216ms、17.3 fps、運転FVD 162.6、ロボットFVD 47.6、ARR 0.73、PSNR 25.12。MIRAレシピは遅延175ms、26.6 fps、運転FVD 311.6、ロボットFVD 267.1、ARR 0.39。Wan 2.2 VAEは遅延317ms、34.2 fps、運転FVD 599.7、ロボットFVD 52.9、ARR 0.85、PSNR 35.02。Cosmos CV8x8x8は遅延605ms、39.0 fps、運転FVD 452.5、ロボットFVD 39.5、ARR 0.78。LTX-2 VAEは遅延492ms、87.4 fps、運転FVD 913.3、ロボットFVD 69.6、ARR 0.25。
CADREはすべてで勝つわけではない。ロボット操作ではCosmosのFVD 39.5に対し最良1ステップCADREは47.6。高速端ではDC-AEが操作タスクでCADRE-1×48×48を上回る。Wan 2.2はホールドアウトビデオの再構成も優れ、PSNR 35.02 dB。Kyutaiチームは再構成がロールアウトを予測しないと主張し、Wan 2.2は屋内ロールアウトFVDで最下位。長い潜在表現はチャンク間に目に見える継ぎ目を残し、τ=8で境界超過は環境全体で1.6～1.8に達する。CADRE-4×24×24はナビゲーションで外れ値となり、運転FVDは403。各ワールドモデルは288×512で1環境をカバーし、知見が汎用モデルに移行するかは未解決。
開発者はMITライセンスのコードとHugging Face上のCC BY-NC 4.0重み（商用利用不可）でCADREを利用できる。リリースには7つのオートエンコーダ、4つの長期学習マルチ解像度版、CADRE-2×16×16上の4つのワールドモデルが含まれる。ライブデモではキーボードで操作可能。論文、ブログ、GitHubリポジトリ、モデルコレクションが公開されている。