跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

VideoSEAL:透過解耦答案權威緩解智慧體長影片理解中的證據不匹配

文章摘要

本文提出VideoSEAL框架,透過解耦規劃與答案權威,解決長影片理解中智慧體產生正確答案但缺乏證據支援的問題,在多個基準測試上取得領先效能。

來源arXiv Computer Vision作者: Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)
VideoSEAL:透過解耦答案權威緩解智慧體長影片理解中的證據不匹配
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長影片問答是一項極具挑戰性的任務,要求模型從高度冗餘的影片內容中定位稀疏且時間分散的視覺證據。儘管當前的多模態大語言模型(MLLMs)在短影片上表現出色,但長影片的長度和複雜性迫使模型進行多輪、智慧體式的互動搜尋與驗證。然而,現有長影片理解智慧體常常出現一種被稱為“證據不匹配”的現象:它們能夠給出正確答案,但該答案實際上並未得到其檢索或檢查的證據的支援。

為了刻畫這一失敗模式,研究人員引入了兩種診斷指標:時間接地性和語義接地性。時間接地性衡量證據的時間定位是否準確,而語義接地性評估證據的內容是否與答案匹配。利用這些指標,他們揭示了放大不匹配的兩種壓力:推理時的提示壓力(由於共享上下文飽和)和訓練時的獎勵壓力(由於僅關注結果的最佳化)。這些發現指向了一個結構性的根本原因:耦合的智慧體正規化將長期規劃與答案權威混為一談,導致規劃決策直接影響答案生成,而忽視了證據驗證。

為此,本文提出瞭解耦的規劃器-檢查器框架(VideoSEAL)。該框架將規劃與答案權威徹底分離:規劃器負責制定搜尋策略,而檢查器負責畫素級驗證,並基於驗證結果門控最終答案。在四個長影片基準測試上,VideoSEAL顯著提高了答案准確性和證據對齊程度,在LVBench上達到55.1%,在LongVideoBench上達到62.0%,同時生成可解釋的搜尋軌跡。此外,解耦架構隨著搜尋預算的增加表現出一致的擴充套件性,並支援在不重新訓練規劃器的情況下即插即用地升級MLLM骨幹網路。程式碼和模型已在GitHub開源。該論文已被ICML 2026接收,全文共計33頁,包含13張圖表。研究團隊來自多家機構,由陳浩秋(音譯)領銜。

這一工作為長影片理解智慧體的可信性提供了新思路,不僅提升了答案的準確性,更重要的是確保了答案有可靠的證據支撐,這對於高風險應用如醫療影片分析和自動駕駛場景中的影片理解尤為關鍵。未來的工作可以進一步最佳化檢查器的效率,並探索在更多模態上的泛化能力。

展開要點與分析

文章情報

工程師進階

要點

  • 長影片問答存在證據不匹配問題:智慧體給出正確答案但證據不支援。
  • 提出時間接地性和語義接地性兩種診斷指標。
  • 解耦式規劃器-檢查器框架將規劃與答案權威分離,透過畫素級驗證生成最終答案。
  • 在LVBench和LongVideoBench上分別達到55.1%和62.0%的準確率,且支援即插即用升級。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。