PhysBrain 1.0 テクニカルレポート：人間のビデオから物理常識を学習しロボット能力を向上
PhysBrain 1.0は、大規模な人間の一人称視点ビデオを構造化された物理常識知識に変換し、ロボットの理解と制御を改善する新しいアプローチです。シーン要素、空間ダイナミクス、深度認識関係をビデオから抽出し、視覚言語モデルを訓練した後、ロボットポリシーに適応させます。複数の身体化AIベンチマークで最先端の結果を達成し、特にドメイン外タスクで優れた性能を示します。
近年、視覚-言語-行動モデルは急速に進歩しているが、ロボットの軌跡データだけでは広範な物理的理解を学習するにはカバレッジが不十分である。PhysBrain 1.0テクニカルレポートは、大規模な人間の一人称視点（エゴセントリック）ビデオから構造化された物理常識の監督信号を抽出し、ロボット適応前に活用する補完的なアプローチを提案する。本研究はShijie Lian氏を含む13名の著者によって行われ、arXiv（番号2605.15298）に提出されている。
PhysBrain 1.0の中心はデータエンジンであり、人間のビデオからシーン要素、空間ダイナミクス、行動実行、深度認識関係を自動的に抽出する。これらの情報は質問応答形式の監督データに変換され、PhysBrain視覚言語モデル（VLM）のトレーニングに使用される。例えば、データエンジンは物体間の相対位置、運動軌跡、人間と環境の相互作用パターンを識別する。学習された物理的先行知識は、能力を保持し言語に敏感な適応設計を通じて、視覚-言語-行動（VLA）ポリシーに転送される。この設計により、ロボット制御に適応する際に元のマルチモーダル理解能力を忘れることなく、自然言語の指示に応じて柔軟に行動を調整できる。
マルチモーダルQAベンチマークと身体化制御ベンチマーク（ERQA、PhysBench、SimplerEnv-WidowX、LIBERO、RoboCasa）において、PhysBrain 1.0は最先端（SOTA）の結果を達成した。特にSimplerEnvのドメイン外テストでは優れた性能を示し、強力な汎化能力を実証した。これらの結果は、人間のインタラクションビデオから物理常識をスケールすることが、マルチモーダル理解からロボット行動への効果的な橋渡しとなり得ることを示唆している。今後、研究チームは異なる環境やタスクからのビデオデータを統合し、より汎用的な物理常識表現を構築することを計画している。