長視頻問答是一項極具挑戰性的任務,要求模型從高度冗餘的視頻內容中定位稀疏且時間分散的視覺證據。儘管當前的多模態大語言模型(MLLMs)在短視頻上表現出色,但長視頻的長度和複雜性迫使模型進行多輪、智能體式的交互搜索與驗證。然而,現有長視頻理解智能體常常出現一種被稱為“證據不匹配”的現象:它們能夠給出正確答案,但該答案實際上並未得到其檢索或檢查的證據的支持。
為了刻畫這一失敗模式,研究人員引入了兩種診斷指標:時間接地性和語義接地性。時間接地性衡量證據的時間定位是否準確,而語義接地性評估證據的內容是否與答案匹配。利用這些指標,他們揭示了放大不匹配的兩種壓力:推理時的提示壓力(由於共享上下文飽和)和訓練時的獎勵壓力(由於僅關注結果的優化)。這些發現指向了一個結構性的根本原因:耦合的智能體範式將長期規劃與答案權威混為一談,導致規劃決策直接影響答案生成,而忽視了證據驗證。
為此,本文提出瞭解耦的規劃器-檢查器框架(VideoSEAL)。該框架將規劃與答案權威徹底分離:規劃器負責制定搜索策略,而檢查器負責像素級驗證,並基於驗證結果門控最終答案。在四個長視頻基準測試上,VideoSEAL顯著提高了答案准確性和證據對齊程度,在LVBench上達到55.1%,在LongVideoBench上達到62.0%,同時生成可解釋的搜索軌跡。此外,解耦架構隨着搜索預算的增加表現出一致的擴展性,並支持在不重新訓練規劃器的情況下即插即用地升級MLLM骨幹網絡。代碼和模型已在GitHub開源。該論文已被ICML 2026接收,全文共計33頁,包含13張圖表。研究團隊來自多家機構,由陳浩秋(音譯)領銜。
這一工作為長視頻理解智能體的可信性提供了新思路,不僅提升了答案的準確性,更重要的是確保了答案有可靠的證據支撐,這對於高風險應用如醫療視頻分析和自動駕駛場景中的視頻理解尤為關鍵。未來的工作可以進一步優化檢查器的效率,並探索在更多模態上的泛化能力。