在自我中心視頻理解模型中激勵時間感知

多模態大語言模型（MLLMs）近年來在視覺理解任務中展現了強大的性能，但它們在時間感知方面仍有明顯不足，尤其是在自我中心（egocentric）場景中。在這些場景中，推理依賴於事件的正確順序和演化過程，而現有模型往往依賴於幀級空間捷徑，未能有效捕捉時間動態。

為了彌補這一缺陷，蘋果機器學習研究團隊提出了一種名為時間全局策略優化（Temporal Global Policy Optimization, TGPO）的新算法。該算法基於強化學習與可驗證獎勵（RLVR），旨在通過顯式獎勵時間推理來抑制模型對靜態幀特徵的過度依賴。

TGPO的核心思想是：在訓練過程中，模型不僅要理解單個幀的內容，還要能夠正確推斷幀之間的時間關係。通過設計合適的獎勵函數，TGPO鼓勵模型關注事件的全局時間結構，從而提升其在自我中心視頻理解任務中的表現。

這項研究為解決MLLMs時間感知缺陷提供了新思路，有望推動視頻理解系統在現實應用中的進一步發展。