跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

StreamPro:从反应式感知到主动决策的流视频理解

文章摘要

该论文提出StreamPro-Bench基准和StreamPro训练框架,解决流视频理解中模型需自主决定“何时响应”而不仅是“响应什么”的主动性问题。基准从感知理解、时序推理和主动能动性三个维度评估模型,训练框架采用两阶段方法:先以CB-Stream损失缓解监督信号不平衡,再用GRPO结合多粒度奖励优化响应正确性与时机。实验显示StreamPro在StreamPro-Bench上得分41.5,远超先前最佳10.4,并在StreamingBench-RTVU上达到78.9。

来源arXiv Computer Vision作者: Ao Li, Zihan Xiao, Zihao Yue, Boshen Xu, Linli Yao, Jiaze Li, Pei Fu, Jianzhong Ju, Jian Luan, Qin Jin
StreamPro:从反应式感知到主动决策的流视频理解
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

流视频理解正从被动感知向主动决策演进。传统方法遵循“先看到后回答”的范式,模型仅在明确证据出现后才触发响应,这实际上将主动推理降格为延迟感知。然而,在真实流式场景中,模型需要持续处理视频流并自主判断何时响应,从而在部分观测下权衡早期预测与证据充分性。这种“何时响应”的决策问题,远比“响应什么”更具挑战性。现有基准无法有效评估模型在信息不完整时做出及时可靠决策的能力,因为它们的响应触发机制依赖于显式证据的出现。

为了填补这一空白,研究者提出了StreamPro-Bench基准,从三个互补维度评估流式模型:感知理解、时序推理和主动能动性。其中主动能动性专门衡量模型在部分观测下做出早期且可靠决策的能力。该基准的设计迫使模型在证据尚未完全显现时即需判断是否响应,从而真正检验其主动决策水平。与以往基准相比,StreamPro-Bench更贴近实际应用中对实时性和准确性的双重需求。

训练主动模型面临两大挑战:流式轨迹中沉默信号与响应信号的极端不平衡,以及需要同时优化响应正确性和响应时机。为此,作者提出StreamPro两阶段训练框架。第一阶段引入CB-Stream损失,在监督微调(SFT)过程中缓解严重的监督不平衡问题,使模型在大量沉默帧中仍能学习到有意义的响应模式。第二阶段采用组相对策略优化(GRPO),并设计多粒度奖励机制,同时包含回合级和轨迹级奖励,从而联合优化响应的正确性与时机选择。这种两阶段设计有效提升了模型在流式场景中的主动决策能力。

实验结果表明,StreamPro显著提升了主动性能。在StreamPro-Bench上,其得分为41.5,远超此前最佳成绩10.4,提升幅度巨大。同时,在实时流式基准StreamingBench-RTVU上,StreamPro也保持了强劲表现,得分为78.9。这些结果验证了StreamPro-Bench的挑战性以及StreamPro训练框架的有效性。该工作为流视频理解从反应式感知迈向主动决策提供了新的基准和方法,有望推动实时视频分析、智能监控、人机交互等应用的发展。未来,如何进一步平衡早期预测的准确性与响应延迟,以及将主动决策扩展到更复杂的多模态场景,仍是值得探索的方向。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出StreamPro-Bench,首次从感知、时序和主动性三个维度评估流视频模型,强调部分观测下的早期可靠决策能力。
  • StreamPro两阶段训练框架:CB-Stream损失解决SFT中的监督不平衡,GRPO多粒度奖励联合优化响应正确性与时机。
  • 在StreamPro-Bench上得分41.5,大幅超越此前最佳10.4;在StreamingBench-RTVU上保持78.9的高性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。