跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

VideoSEAL:通過解耦答案權威緩解智能體長視頻理解中的證據不匹配

文章摘要

本文提出VideoSEAL框架,通過解耦規劃與答案權威,解決長視頻理解中智能體產生正確答案但缺乏證據支持的問題,在多個基準測試上取得領先性能。

來源arXiv Computer Vision作者: Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)
VideoSEAL:通過解耦答案權威緩解智能體長視頻理解中的證據不匹配
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長視頻問答是一項極具挑戰性的任務,要求模型從高度冗餘的視頻內容中定位稀疏且時間分散的視覺證據。儘管當前的多模態大語言模型(MLLMs)在短視頻上表現出色,但長視頻的長度和複雜性迫使模型進行多輪、智能體式的交互搜索與驗證。然而,現有長視頻理解智能體常常出現一種被稱為“證據不匹配”的現象:它們能夠給出正確答案,但該答案實際上並未得到其檢索或檢查的證據的支持。

為了刻畫這一失敗模式,研究人員引入了兩種診斷指標:時間接地性和語義接地性。時間接地性衡量證據的時間定位是否準確,而語義接地性評估證據的內容是否與答案匹配。利用這些指標,他們揭示了放大不匹配的兩種壓力:推理時的提示壓力(由於共享上下文飽和)和訓練時的獎勵壓力(由於僅關注結果的優化)。這些發現指向了一個結構性的根本原因:耦合的智能體範式將長期規劃與答案權威混為一談,導致規劃決策直接影響答案生成,而忽視了證據驗證。

為此,本文提出瞭解耦的規劃器-檢查器框架(VideoSEAL)。該框架將規劃與答案權威徹底分離:規劃器負責制定搜索策略,而檢查器負責像素級驗證,並基於驗證結果門控最終答案。在四個長視頻基準測試上,VideoSEAL顯著提高了答案准確性和證據對齊程度,在LVBench上達到55.1%,在LongVideoBench上達到62.0%,同時生成可解釋的搜索軌跡。此外,解耦架構隨着搜索預算的增加表現出一致的擴展性,並支持在不重新訓練規劃器的情況下即插即用地升級MLLM骨幹網絡。代碼和模型已在GitHub開源。該論文已被ICML 2026接收,全文共計33頁,包含13張圖表。研究團隊來自多家機構,由陳浩秋(音譯)領銜。

這一工作為長視頻理解智能體的可信性提供了新思路,不僅提升了答案的準確性,更重要的是確保了答案有可靠的證據支撐,這對於高風險應用如醫療視頻分析和自動駕駛場景中的視頻理解尤為關鍵。未來的工作可以進一步優化檢查器的效率,並探索在更多模態上的泛化能力。

展開要點與分析

文章情報

工程師進階

要點

  • 長視頻問答存在證據不匹配問題:智能體給出正確答案但證據不支持。
  • 提出時間接地性和語義接地性兩種診斷指標。
  • 解耦式規劃器-檢查器框架將規劃與答案權威分離,通過像素級驗證生成最終答案。
  • 在LVBench和LongVideoBench上分別達到55.1%和62.0%的準確率,且支持即插即用升級。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。