エゴセントリックなビデオ理解モデルにおける時間的認識の促進

マルチモーダル大規模言語モデル（MLLM）は、視覚理解タスクにおいて優れた性能を発揮していますが、特にエゴセントリック（自己中心）なビデオ理解において、時間的認識が不足しているという課題があります。これらのシナリオでは、イベントの正しい順序と進化に基づく推論が求められるにもかかわらず、既存のモデルはフレームレベルの空間的ショートカットに依存し、時間的ダイナミクスを十分に捉えられていません。

この問題に対処するため、Appleの機械学習研究チームは、Temporal Global Policy Optimization（TGPO）という新しいアルゴリズムを提案しました。TGPOは、検証可能な報酬を用いた強化学習（RLVR）に基づいており、時間的推論を明示的に報酬として与えることで、モデルが静的フレームの特徴に過度に依存することを抑制します。

TGPOの核心は、トレーニング中にモデルが個々のフレームの内容を理解するだけでなく、フレーム間の時間的関係を正確に推論できるようにすることです。適切な報酬関数を設計することで、TGPOはモデルにイベントのグローバルな時間構造に注目するよう促し、エゴセントリックなビデオ理解タスクでのパフォーマンスを向上させます。

この研究は、MLLMの時間認識欠陥を解決するための新しい方向性を提供し、現実のアプリケーションにおけるビデオ理解システムのさらなる発展に貢献することが期待されます。