自我中心影片理解是具身智慧體的核心能力之一，它要求模型從第一人稱視角的影片中理解場景、物件和事件，並基於此進行推理和決策。然而，現有的基準測試大多隻評估模型的最終輸出（例如問題的答案），而忽略了中間推理過程的評估。此外，大多數基準測試只涉及文本領域的答案，未能充分利用視覺-語言多模態資訊。為了彌補這一空白，來自Google DeepMind等機構的研究人員提出了Minerva-Ego基準測試，旨在系統評估模型在自我中心影片上的複雜視覺推理能力。
Minerva-Ego基於高質量的自我中心/具身影片資料來源，擴充套件了一系列具有挑戰性的多步驟多模態問題。每個問題都附帶了人類標註的密集時空推理軌跡，這些軌跡不僅記錄了最終答案，還詳細描述了每一步推理所需關注的物件及其時空位置。這樣的設計使得研究人員能夠深入分析模型的推理過程，而不僅僅是比較最終答案。
在基準測試中，研究人員對當前最先進的視覺語言模型進行了評估，發現它們與人類表現之間仍存在顯著差距，尤其是在中間推理步驟上。為了深入探究這一差距，研究人員對每條推理軌跡進行了物件級時空掩碼標註，明確了回答問題所需的關鍵物體。透過大量實驗，他們發現向模型提供“何時何地”檢視的提示（即提示模型關注特定的時空區域）可以顯著提升模型效能，這表明模型在利用時空線索方面還有很大的提升空間。
Minerva-Ego資料集已在GitHub上開源（https://github.com/google-deepmind/neptune），供研究人員下載使用。這一工作不僅為自我中心影片推理提供了更全面的評估手段，也為未來的模型改進指明瞭方向：透過引入時空提示，可以引導模型更有效地進行多步驟推理，從而縮小與人類智慧的差距。