ロボット世界モデルの最近の進歩により、身体的な予測や計画のための合成ビデオ生成が可能になりました。しかし、これらのビデオの評価は困難です：視覚的にリアルな出力が物理法則、時間的一貫性、またはタスクロジックに違反することが多く、従来の評価指標や単一の視覚言語モデル（VLM）判定器は一般化できず、正確な診断価値を提供できません。この問題を解決するために、複数の研究機関の研究者らはRoboGazeを提案しました。RoboGazeはトレーニング不要のマルチエージェントVLMフレームワークであり、生成されたロボット操作ビデオに対して構造化され解釈可能な評価を提供します。
RoboGazeのパイプラインは3段階で構成されています。第1段階はタスクシーン接地で、タスク命令とビデオを関連付け、重要なシーン情報を抽出します。第2段階は次元固有の専門家ルーティングで、物理的妥当性や時間的一貫性などの評価次元に基づいて、タスクを専門のVLMエージェントに割り当てます。第3段階は批評家ベースの検証で、独立した批評モデルが出力を相互チェックし、誤報を低減します。最終的に、RoboGazeは時間的に局所化された異常レポートを生成します。これらのレポートは、ロボット固有の新しい6次元30タイプの分類法に従って分類され、一般的な故障モードをカバーします。
RoboGazeの有効性を検証するため、研究チームは382のクリップからなる人間検証済みデータセットを構築しました。このデータセットは、シミュレーションと実世界のマルチビュー操作をカバーしています。8つのオープンソースおよびプロプライエタリなVLMバックボーンを評価した結果、RoboGazeはゼロショットベースラインを大幅に上回り、記述F1で最大43ポイント、時間的アライメント（F1×IoU）で最大37ポイントの改善を達成し、人間の上限とのギャップの約85%を埋めました。さらに、批評家検証器は標準VLMの「オオカミ少年」誤報問題を軽減し、クリーンクリップの精度を25%未満から80%以上に向上させました。
RoboGazeは、ロボット世界モデルの厳密な評価のためのスケーラブルで高度に解釈可能な診断ツールを提供します。これにより、研究者はモデル生成における一般的な故障を発見し、モデル改善の指針を得ることができます。将来的には、より複雑なタスクやインタラクションシナリオへの拡張が期待され、ロボット工学における評価基準の重要な構成要素となる可能性があります。本研究はプレプリントとして公開されており、論文タイトルは「RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis」、著者はMinh-Loi Nguyenら12名です。