隨著機器人世界模型的快速發展，生成合成影片用於具身預測和規劃已成為可能。然而，評估這些影片的質量仍然是一個重大挑戰：許多生成影片雖然在視覺上逼真，卻常常違反物理定律、時間一致性或任務邏輯。傳統的評估指標（如PSNR、SSIM）和單一的視覺語言模型（VLM）判斷器難以泛化，也無法提供精確的診斷資訊。為了應對這一問題，來自多所機構的研究人員提出了RoboGaze——一種無需訓練的多智慧體VLM框架，旨在為生成的機器人操作影片提供結構化、可解釋的評估。
RoboGaze的核心是一個三階段流水線。第一階段是任務場景接地，將任務指令與影片內容對齊，提取關鍵場景資訊。第二階段是維度特定專家路由，根據不同的評估維度（如物理合理性、時間一致性）將任務分配給專門的VLM專家。第三階段是批評者驗證，由獨立的批評模型對輸出進行交叉檢查，減少誤報。最終，RoboGaze生成時間本地化的故障報告，這些報告按照一種新穎的6維度30型別機器人特定分類法進行分類，覆蓋了常見的失效模式。
為了驗證RoboGaze的有效性，研究團隊構建了一個包含382個剪輯的人工驗證資料集，涵蓋模擬和真實世界的多視角操作場景。他們評估了8種開源和專有VLM骨幹網路，結果令人印象深刻：RoboGaze在描述F1上比零樣本基線提升了最多43個百分點，在時間對齊（F1×IoU）上提升了最多37個百分點，縮小了與人類上限約85%的差距。此外，其批評驗證器有效緩解了標準VLM的“狼來了”誤報問題，將清潔剪輯的準確率從不到25%提升至超過80%。
RoboGaze的出現為機器人世界模型的嚴格評估提供了一個可擴充套件、高度可解釋的診斷工具。它不僅有助於研究人員發現模型生成的常見故障，還能指導進一步的模型改進。未來，該框架有望擴充套件到更復雜的任務和互動場景，成為機器人領域評估標準的重要組成部分。這一研究已作為預印本釋出，論文標題為《RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis》，作者包括Minh-Loi Nguyen等12位研究人員。