世界基盤モデル(World Foundation Models, WFMs)は強力なシミュレータですが、現在の研究は主に単一ビュー設定に焦点を当てており、ロボット操作に必要なマルチビューの3D一貫性を欠いています。ロボットシステムは通常、ポリシー学習に複数のカメラ(エゴセントリック、アイ・トゥ・ハンド、リストマウント)に依存していますが、既存のマルチビューワールドモデルはビュートークンを単純に連結するだけで、明示的な幾何推論を行いません。これにより、クロスビューでの物体ドリフト、深度不一致、テクスチャのずれが発生します。研究者はこれらの失敗を、明示的なビュー間通信メカニズムの欠如と3D幾何事前分布の欠如という2つの欠陥に起因すると分析しています。これらの問題を同時に解決することが必要かつ十分であると主張しています。
この課題に対処するため、研究チームはPAIWorldフレームワークを提案しました。このフレームワークは、拡散トランスフォーマーワールドモデルに3つのコアコンポーネントを追加します。第一に、幾何認識型クロスビューアテンションブロック(Geometry-Aware Cross-View Attention)で、ビュー間の明示的な情報経路を確立します。第二に、幾何ロータリーポジション埋め込み(Geometric Rotary Position Embedding)で、カメラ光線方向と外部姿勢をアテンションメカニズムにエンコードします。第三に、潜在3D-REPA(Latent 3D-REPA)で、凍結された3D基盤モデルから3D認識特徴を蒸留し、3D一貫性を保証します。これらのコンポーネントが連携することで、モデルは異なる視点間の幾何関係を理解できるようになります。
DiTベースのワールド基盤モデル上に構築されたPAIWorldは、ロボット操作ベンチマークで最先端のマルチビュー3D一貫性を達成しました。WorldArenaリーダーボードでは1位、AgiBot-Challenge2026リーダーボードでは2位を獲得しています。性能面での優位性に加え、PAIWorldはモデルベース計画、ワールドアクションモデル、マルチビューポリシー後訓練などの下流アプリケーションを可能にします。これらの機能により、ロボットは3D環境をより正確に認識し相互作用できるようになり、複雑な操作タスクのための強固な基盤を提供します。本研究はYuhang Huangら28人の著者によって行われ、論文は2026年6月16日に提出されました。