跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

StreamPro:從被動感知到主動決策的流式影片理解

文章摘要

流式影片理解要求模型在部分觀測下主動決定響應時機,而非僅僅響應內容。現有基準多采用“先看後答”模式,無法評估模型在資訊不完整時的及時可靠決策能力。本文提出StreamPro-Bench基準,從感知理解、時間推理和主動決策三個維度評估模型,並推出StreamPro兩階段訓練框架,透過CB-Stream損失和分組相對策略最佳化顯著提升主動效能。在StreamPro-Bench上達到41.5,遠超此前最佳10.4,同時在即時流式基準上保持78.9的高分。

來源arXiv Computer Vision作者: Ao Li, Zihan Xiao, Zihao Yue, Boshen Xu, Linli Yao, Jiaze Li, Pei Fu, Jianzhong Ju, Jian Luan, Qin Jin
StreamPro:從被動感知到主動決策的流式影片理解
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

傳統流式影片理解模型大多遵循“先看後答”的被動正規化,即在觀察到明確證據後才觸發響應,這實際上將主動推理降級為延遲感知。然而,現實應用(如自動駕駛、即時監控)要求模型能在資訊不完整的情況下做出及時且可靠的決策。為此,Ao Li等研究者提出了StreamPro-Bench基準和StreamPro訓練框架,旨在推動流式影片模型從被動感知邁向主動決策。

StreamPro-Bench從三個互補維度評估模型:感知理解(Perception Understanding)衡量目標識別能力,時間推理(Temporal Reasoning)評估時序關係理解,而主動決策(Proactive Agency)則測試模型在部分觀測下提前但可靠決策的能力。這一設計填補了現有基準在主動決策評估上的空白。

訓練主動模型面臨兩大挑戰:流式軌跡中靜默與響應訊號的極端不平衡,以及正確性與時機的聯合最佳化。StreamPro採用兩階段方案:首先,CB-Stream損失透過類別平衡策略緩解監督不平衡;其次,應用分組相對策略最佳化(GRPO),結合回合級和軌跡級多粒度獎勵,同時最佳化響應正確性與時機。

在StreamPro-Bench上,StreamPro達到41.5分,遠超此前最優方法的10.4分;在即時流式基準StreamingBench-RTVU上,也取得78.9分,證明其在主動性與即時性上的雙重優勢。該研究為流式影片理解提供了新的評估標準與訓練正規化,有望推動相關應用的發展。

此外,研究者還探討了StreamPro在不同影片場景下的泛化能力,包括複雜背景、多目標跟蹤和長時序列處理等。實驗結果顯示,StreamPro不僅在新基準上表現優異,還在傳統即時流式任務中保持了高水平的效能,表明其方法的通用性和有效性。這項工作的程式碼和模型已計劃開源,以促進學術界和工業界的進一步研究與應用。

展開要點與分析

文章情報

工程師進階

要點

  • 現有流式影片基準固守“見而後答”正規化,忽視在部分觀測下主動抉擇的需求。
  • StreamPro-Bench引入主動決策維度,全面評測模型的感知、時序推理與提前響應的可靠性。
  • StreamPro訓練框架透過CB-Stream損失緩解監督不平衡,並採用多粒度獎勵的GRPO最佳化響應正確性與時機。
  • 實驗表明,StreamPro在主動性與即時性上均大幅超越先前方法。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。