自己中心視点のビデオ理解は、身体化されたエージェントの中核的な能力であり、モデルは一人称視点のビデオからシーン、オブジェクト、イベントを理解し、それに基づいて推論と意思決定を行う必要があります。しかし、既存のベンチマークは主に最終出力（質問への答えなど）のみを評価し、中間推論プロセスの評価はほとんど行われていません。また、ほとんどのベンチマークはテキスト領域の回答のみを提供し、視覚と言語のマルチモーダル情報を十分に活用していません。このギャップを埋めるために、Google DeepMindの研究チームは、自己中心視点ビデオにおける複雑な視覚推論を体系的に評価するためのベンチマーク「Minerva-Ego」を提案しました。
Minerva-Egoは、高品質な自己中心/身体化されたビデオデータを基に、多段階のマルチモーダルな質問を拡張したものです。各質問には、人間がアノテーションした密な時空間推論トレースが付属しており、最終的な答えだけでなく、各ステップで注目すべきオブジェクトとその時空間位置も記録されています。この設計により、研究者は最終的な答えを比較するだけでなく、モデルの推論プロセスを詳細に分析することができます。
ベンチマーク実験では、最先端の視覚言語モデルが人間のパフォーマンスと比較して大きなギャップがあることが明らかになり、特に中間推論ステップでの差が顕著でした。このギャップを詳細に調査するため、各推論トレースには問題解決に必要なオブジェクトの時空間マスクアノテーションが付与されています。広範な評価を通じて、「どこで」「いつ」見るべきかのヒントをモデルに与えることで、パフォーマンスが大幅に向上することが確認されました。これは、モデルが時空間的な手がかりを利用する能力にまだ改善の余地があることを示しています。
Minerva-EgoデータセットはGitHub（https://github.com/google-deepmind/neptune）で公開されており、研究者は自由にダウンロードして利用できます。この取り組みは、自己中心視点推論のためのより包括的な評価手段を提供するだけでなく、時空間ヒントを導入することでモデルが多段階推論をより効果的に行えるようになり、人間の知能とのギャップを縮める方向性を示しています。