在自我中心视频理解模型中激励时间感知
多模态大语言模型在视觉理解上表现出色,但在时间感知方面存在不足,尤其在自我中心场景中。苹果研究团队提出时间全局策略优化(TGPO)算法,通过强化学习和可验证奖励来激励模型的时间推理能力,避免依赖帧级空间捷径。
多模态大语言模型(MLLMs)近年来在视觉理解任务中展现了强大的性能,但它们在时间感知方面仍有明显不足,尤其是在自我中心(egocentric)场景中。在这些场景中,推理依赖于事件的正确顺序和演化过程,而现有模型往往依赖于帧级空间捷径,未能有效捕捉时间动态。
为了弥补这一缺陷,苹果机器学习研究团队提出了一种名为时间全局策略优化(Temporal Global Policy Optimization, TGPO)的新算法。该算法基于强化学习与可验证奖励(RLVR),旨在通过显式奖励时间推理来抑制模型对静态帧特征的过度依赖。
TGPO的核心思想是:在训练过程中,模型不仅要理解单个帧的内容,还要能够正确推断帧之间的时间关系。通过设计合适的奖励函数,TGPO鼓励模型关注事件的全局时间结构,从而提升其在自我中心视频理解任务中的表现。
这项研究为解决MLLMs时间感知缺陷提供了新思路,有望推动视频理解系统在现实应用中的进一步发展。