傳統流式影片理解模型大多遵循“先看後答”的被動正規化,即在觀察到明確證據後才觸發響應,這實際上將主動推理降級為延遲感知。然而,現實應用(如自動駕駛、即時監控)要求模型能在資訊不完整的情況下做出及時且可靠的決策。為此,Ao Li等研究者提出了StreamPro-Bench基準和StreamPro訓練框架,旨在推動流式影片模型從被動感知邁向主動決策。
StreamPro-Bench從三個互補維度評估模型:感知理解(Perception Understanding)衡量目標識別能力,時間推理(Temporal Reasoning)評估時序關係理解,而主動決策(Proactive Agency)則測試模型在部分觀測下提前但可靠決策的能力。這一設計填補了現有基準在主動決策評估上的空白。
訓練主動模型面臨兩大挑戰:流式軌跡中靜默與響應訊號的極端不平衡,以及正確性與時機的聯合最佳化。StreamPro採用兩階段方案:首先,CB-Stream損失透過類別平衡策略緩解監督不平衡;其次,應用分組相對策略最佳化(GRPO),結合回合級和軌跡級多粒度獎勵,同時最佳化響應正確性與時機。
在StreamPro-Bench上,StreamPro達到41.5分,遠超此前最優方法的10.4分;在即時流式基準StreamingBench-RTVU上,也取得78.9分,證明其在主動性與即時性上的雙重優勢。該研究為流式影片理解提供了新的評估標準與訓練正規化,有望推動相關應用的發展。
此外,研究者還探討了StreamPro在不同影片場景下的泛化能力,包括複雜背景、多目標跟蹤和長時序列處理等。實驗結果顯示,StreamPro不僅在新基準上表現優異,還在傳統即時流式任務中保持了高水平的效能,表明其方法的通用性和有效性。這項工作的程式碼和模型已計劃開源,以促進學術界和工業界的進一步研究與應用。