ロボット学習において、行動が物理的変化を引き起こす仕組みを捉える世界モデルは、エンボディメント固有の行動ラベルに依存せずにスケーラブルな学習を可能にする。従来のピクセル空間ビデオモデルは広範な視覚的事前知識を提供するが、密な外観再構成にモデル容量を費やす。一方、直接的行動モデルはエンボディメント固有のラベルを必要とし、スケーラビリティを妨げる。
最近のarXiv論文で提案されたμ₀は、3Dトレースに基づくスケーラブルな世界モデルである。μ₀は密なピクセルや直接的な行動を予測するのではなく、物体、ツール、手、接触領域といった顕著なインタラクションポイントの滑らかな3D軌跡を予測する。これにより、コンパクトでエンボディメントに依存しない運動インターフェースが得られる。この表現は物理的相互作用の重要な情報を保持しつつ、外観再構成の冗長性を回避し、エンボディメント固有の行動ラベルへの依存を不要にする。
多様なビデオソースからμ₀を訓練するために、研究チームはTraceExtractシステムを開発した。このシステムは、キーポイントを選択し、グローバルに整列されたトレースを構築し、動きのセグメントを階層的な言語キャプションに関連付けることで、3D監督信号を自動抽出する。TraceExtractの監督の下、μ₀の事前学習は、事前学習済みの視覚言語バックボーンとモジュール式トレースエキスパートを組み合わせて行われる。トレースエキスパートは各クエリをBスプライン制御点で表現し、将来のトレースを予測する。
実験の結果、μ₀は2Dおよび3Dトレース予測の両方でベースラインを上回ることが示された。これにはトレース予測モデルやトークン化VLM手法が含まれる。さらに重要なことに、μ₀は凍結して再利用でき、下流のロボットエンボディメント向けの行動エキスパートと組み合わせることができる。行動ラベルなしの事前学習にもかかわらず、得られたトレース条件付きポリシーは、π₀のような行動監督付きで事前学習されたVLAモデルに匹敵する性能を達成した。
これらの結果は、3Dトレースがクロスエンボディメント操作のためのスケーラブルで転移可能な表現であることを確立する。μ₀の登場は、高価な行動ラベルに依存しないロボット学習への新たな道を開き、世界モデルの実ロボットへの幅広い応用を促進する可能性がある。