「もしもの世界」：身体性シナリオにおける汎用世界モデルの因果ベンチマーク
動画生成モデルは運転やロボット操作のシミュレータとして使われるが、既存のベンチマークは単独動画の品質のみを評価し、因果関係の理解をテストできない。そこで提案された「もしもの世界」ベンチマークは、1つの物理変数のみ異なるペアのプロンプトを使用し、モデルが正しく因果に応答するかを検証する。9つの最先端モデルを評価した結果、最高でも52%、オープンソースモデルは約28%のペアスコアであり、性能は物理の難易度ではなく視覚的顕著性に依存する。
記事インテリジェンス
要点
- 「もしもの世界」は、単一変数の変更を含む319のプロンプトペアで動画生成モデルの因果推論をテスト。nuScenesとDROIDの実フレームに基づく。
- APEO評価基準（遵守性、物理整合性、環境保存、結果の正確性）を採用。9モデル中最高52%、オープンソースは約28%で、因果介入の多くに失敗。
- モデルの性能は介入の物理的難易度ではなく、視覚的顕著性に相関。視覚的に微妙な介入では14.2%、顕著なものでは40.4%のスコア。
重要な理由
このニュースが重要なのは、「もしもの世界」は、単一変数の変更を含む319のプロンプトペアで動画生成モデルの因果推論をテスト。nuScenesとDROIDの実フレームに基づくためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
動画生成モデルは、自動運転やロボット操作などのタスクにおける世界シミュレータとしてますます利用されるようになっています。しかし、これらの設定で重要なのは、単一の動画が正しく見えるかどうかではなく、入力が変化したときにモデルの出力が変化するかどうかです。例えば、同じシーンを記述するが1つの物理的な詳細だけが異なる2つのプロンプトをモデルに与え、2つの動画が物理法則の予測通りに分岐するかどうかをチェックします。プロンプト間の文言の違いは意図的に小さく設計されていますが、正しい物理的差異は小さくありません。これを見逃したモデルでも、個々に妥当に見える2つの動画を生成することは可能であり、既存のベンチマークは動画を1つずつスコアリングするため、この失敗を検出できません。
そこで、カリフォルニア大学バークレー校などの研究チームは、「もしもの世界」（What-If World）ベンチマークを導入しました。これは、nuScenesとDROIDの実際のフレームに基づいて構築された319のプロンプトペアで構成され、運転と操作に共通する6つの物理変数（物体の位置、物体の有無、物体の属性、物理状態、環境条件、時間）の分類法に従って編成されています。各ペアは、APEOと呼ばれる4部構成のルーブリックでスコアリングされます。これは、各動画がプロンプトに従っているか（Adherence）、物理的に一貫しているか（Physics）、共有シーンを保持しているか（Environment）、正しい差異で終了しているか（Outcome）をチェックします。
9つの最先端モデルを評価した結果、ペアスコアで52%を超えるシステムはなく、オープンソースモデルは28%前後に集中しました。テストされたすべてのモデルは、因果介入の大部分で失敗しており、これらのモデルがアクション条件付きシミュレーションやモデルベース計画を確実にサポートできるようになるまでには、かなりの余地があることが示されました。例えば、「椅子を右に動かす」と「椅子を左に動かす」というプロンプトに対して、モデルはしばしば正しく動きを変えることができません。また、モデルが高いスコアを獲得した場合、その性能は介入の視覚的な顕著性に追従しているようであり、根底にある物理の扱いやすさには関連していません。視覚的に微妙な介入（色の変更など）では14.2%という低スコアだったのに対し、視覚的に顕著な介入（位置の変更など）では40.4%に達しました。
この研究は、現状の動画生成モデルが因果推論において深刻な欠陥を持つことを明らかにし、将来のモデルは物理法則の理解をより重視する必要があることを示唆しています。「もしもの世界」ベンチマークは、信頼性の高い世界シミュレータの開発を促進する重要なツールとなるでしょう。ベンチマークのコードとデータはオープンソースとして公開されており、研究者が活用できるようになっています。