本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

PAIWorld:ロボット操作のための3D一貫性世界基盤モデル

記事の要約

PAIWorldは、幾何認識型クロスビューアテンション、幾何ロータリーポジション埋め込み、潜在3D-REPA蒸留を備えた拡散トランスフォーマーフレームワークを導入し、ロボット操作におけるマルチビュー3D一貫性を実現し、WorldArenaリーダーボードで1位、AgiBot-Challenge2026で2位を獲得しました。

ソースarXiv Robotics著者: Yuhang Huang, Xuan Lv, Junyan Xu, Zhiyuan Yu, Jiazhao Zhang, Ruizhen Hu, Wancheng Feng, Shilong Zou, Hewen Xiao, Ziqiao Zhou, Kaiyun Huang, Zhiyu Peng, Juzhan Xu, Hang Zhao, Chenyang Zhu, Renjiao Yi, Yifei Huang, Douhui Wu, Yan Zhang, Kexu Cheng, Chunhe Song, Yunzhi Xue, Xiuhong Zhang, Leitao Guo, Yunji Chen, Bin Wu, Haibin Yu, Kai Xu
PAIWorld:ロボット操作のための3D一貫性世界基盤モデル
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

世界基盤モデル(World Foundation Models, WFMs)は強力なシミュレータですが、現在の研究は主に単一ビュー設定に焦点を当てており、ロボット操作に必要なマルチビューの3D一貫性を欠いています。ロボットシステムは通常、ポリシー学習に複数のカメラ(エゴセントリック、アイ・トゥ・ハンド、リストマウント)に依存していますが、既存のマルチビューワールドモデルはビュートークンを単純に連結するだけで、明示的な幾何推論を行いません。これにより、クロスビューでの物体ドリフト、深度不一致、テクスチャのずれが発生します。研究者はこれらの失敗を、明示的なビュー間通信メカニズムの欠如と3D幾何事前分布の欠如という2つの欠陥に起因すると分析しています。これらの問題を同時に解決することが必要かつ十分であると主張しています。

この課題に対処するため、研究チームはPAIWorldフレームワークを提案しました。このフレームワークは、拡散トランスフォーマーワールドモデルに3つのコアコンポーネントを追加します。第一に、幾何認識型クロスビューアテンションブロック(Geometry-Aware Cross-View Attention)で、ビュー間の明示的な情報経路を確立します。第二に、幾何ロータリーポジション埋め込み(Geometric Rotary Position Embedding)で、カメラ光線方向と外部姿勢をアテンションメカニズムにエンコードします。第三に、潜在3D-REPA(Latent 3D-REPA)で、凍結された3D基盤モデルから3D認識特徴を蒸留し、3D一貫性を保証します。これらのコンポーネントが連携することで、モデルは異なる視点間の幾何関係を理解できるようになります。

DiTベースのワールド基盤モデル上に構築されたPAIWorldは、ロボット操作ベンチマークで最先端のマルチビュー3D一貫性を達成しました。WorldArenaリーダーボードでは1位、AgiBot-Challenge2026リーダーボードでは2位を獲得しています。性能面での優位性に加え、PAIWorldはモデルベース計画、ワールドアクションモデル、マルチビューポリシー後訓練などの下流アプリケーションを可能にします。これらの機能により、ロボットは3D環境をより正確に認識し相互作用できるようになり、複雑な操作タスクのための強固な基盤を提供します。本研究はYuhang Huangら28人の著者によって行われ、論文は2026年6月16日に提出されました。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 現在のマルチビューワールドモデルは幾何推論を欠き、クロスビューの物体ドリフトと深度不一致を引き起こす。
  • PAIWorldは幾何認識型クロスビューアテンション、幾何ロータリーポジション埋め込み、潜在3D-REPAの3つのコアコンポーネントを追加。
  • ロボット操作ベンチマークで最先端のマルチビュー3D一貫性を達成。
  • モデルベース計画、ワールドアクションモデル、マルチビューポリシー後訓練などの下流アプリケーションを可能にする。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。