MetaWorldは、Teng Huら8名の研究者によって提案された新しいフレームワークであり、ビデオワールドモデルをマルチエージェントシナリオに拡張する問題に取り組んでいます。従来のビデオワールドモデルは、単一エージェントが単一視点から観察することに限定されており、具身AIやメタバースでの応用が制限されていました。マルチエージェント設定への拡張には、二つの重要な課題があります。第一にデータ不足です。調整されたマルチビュー録画は非常に高コストであり、一般的なオープンドメインシナリオでの収集は困難です。第二にワールド状態の整合性です。独立して生成されたビデオストリームでは、共有された物理環境やイベントが視点間で一貫して進化することを保証できません。
これらの課題に対処するため、MetaWorldは三つの中核技術を導入しています。第一に、単眼ワールド状態展開（Monocular World-State Unrolling, MWSU）です。これは単眼映像をカメラ操作者の自己運動と可視被写体の空間軌道に明示的に分解します。このカメラ-軌道分解により、共有3D空間内で同期されたマルチエージェント動作データが自然に抽出され、マルチカメラ設定が不要になります。第二に、被写体認識ワールド生成器（Subject-Aware World Generator）を開発しました。これにより、エージェントごとの識別画像に基づく外観駆動シミュレーションが可能となり、精密な視覚制御が実現します。第三に、ワールド状態整合（World-State Alignment, WSA）を提案します。これはビデオDiTの各トランスフォーマー層に挿入されるフレーム間ブランチクロスアテンション機構です。ノイズ除去プロセスを共同で同期させることにより、WSAは静的な幾何学的一貫性と動的な動作一貫性の両方を強制し、共有された3D環境と物理イベントが両方の自己中心視点で適切に整合されるようにします。
広範な実験により、MetaWorldは優れたクロスビュー一貫性と同一性忠実度を達成し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動型のパラダイムを確立しています。この研究はarXiv（番号2606.02753）に提出され、コンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）の主題を扱っています。この成果は、自動運転、ロボット協調、仮想現実など、複数視点の協調知覚が必要な分野での幅広い応用可能性を示しています。