流视频理解正从被动感知向主动决策演进。传统方法遵循“先看到后回答”的范式,模型仅在明确证据出现后才触发响应,这实际上将主动推理降格为延迟感知。然而,在真实流式场景中,模型需要持续处理视频流并自主判断何时响应,从而在部分观测下权衡早期预测与证据充分性。这种“何时响应”的决策问题,远比“响应什么”更具挑战性。现有基准无法有效评估模型在信息不完整时做出及时可靠决策的能力,因为它们的响应触发机制依赖于显式证据的出现。
为了填补这一空白,研究者提出了StreamPro-Bench基准,从三个互补维度评估流式模型:感知理解、时序推理和主动能动性。其中主动能动性专门衡量模型在部分观测下做出早期且可靠决策的能力。该基准的设计迫使模型在证据尚未完全显现时即需判断是否响应,从而真正检验其主动决策水平。与以往基准相比,StreamPro-Bench更贴近实际应用中对实时性和准确性的双重需求。
训练主动模型面临两大挑战:流式轨迹中沉默信号与响应信号的极端不平衡,以及需要同时优化响应正确性和响应时机。为此,作者提出StreamPro两阶段训练框架。第一阶段引入CB-Stream损失,在监督微调(SFT)过程中缓解严重的监督不平衡问题,使模型在大量沉默帧中仍能学习到有意义的响应模式。第二阶段采用组相对策略优化(GRPO),并设计多粒度奖励机制,同时包含回合级和轨迹级奖励,从而联合优化响应的正确性与时机选择。这种两阶段设计有效提升了模型在流式场景中的主动决策能力。
实验结果表明,StreamPro显著提升了主动性能。在StreamPro-Bench上,其得分为41.5,远超此前最佳成绩10.4,提升幅度巨大。同时,在实时流式基准StreamingBench-RTVU上,StreamPro也保持了强劲表现,得分为78.9。这些结果验证了StreamPro-Bench的挑战性以及StreamPro训练框架的有效性。该工作为流视频理解从反应式感知迈向主动决策提供了新的基准和方法,有望推动实时视频分析、智能监控、人机交互等应用的发展。未来,如何进一步平衡早期预测的准确性与响应延迟,以及将主动决策扩展到更复杂的多模态场景,仍是值得探索的方向。