長影片問答是一項極具挑戰性的任務,要求模型從高度冗餘的影片內容中定位稀疏且時間分散的視覺證據。儘管當前的多模態大語言模型(MLLMs)在短影片上表現出色,但長影片的長度和複雜性迫使模型進行多輪、智慧體式的互動搜尋與驗證。然而,現有長影片理解智慧體常常出現一種被稱為“證據不匹配”的現象:它們能夠給出正確答案,但該答案實際上並未得到其檢索或檢查的證據的支援。
為了刻畫這一失敗模式,研究人員引入了兩種診斷指標:時間接地性和語義接地性。時間接地性衡量證據的時間定位是否準確,而語義接地性評估證據的內容是否與答案匹配。利用這些指標,他們揭示了放大不匹配的兩種壓力:推理時的提示壓力(由於共享上下文飽和)和訓練時的獎勵壓力(由於僅關注結果的最佳化)。這些發現指向了一個結構性的根本原因:耦合的智慧體正規化將長期規劃與答案權威混為一談,導致規劃決策直接影響答案生成,而忽視了證據驗證。
為此,本文提出瞭解耦的規劃器-檢查器框架(VideoSEAL)。該框架將規劃與答案權威徹底分離:規劃器負責制定搜尋策略,而檢查器負責畫素級驗證,並基於驗證結果門控最終答案。在四個長影片基準測試上,VideoSEAL顯著提高了答案准確性和證據對齊程度,在LVBench上達到55.1%,在LongVideoBench上達到62.0%,同時生成可解釋的搜尋軌跡。此外,解耦架構隨著搜尋預算的增加表現出一致的擴充套件性,並支援在不重新訓練規劃器的情況下即插即用地升級MLLM骨幹網路。程式碼和模型已在GitHub開源。該論文已被ICML 2026接收,全文共計33頁,包含13張圖表。研究團隊來自多家機構,由陳浩秋(音譯)領銜。
這一工作為長影片理解智慧體的可信性提供了新思路,不僅提升了答案的準確性,更重要的是確保了答案有可靠的證據支撐,這對於高風險應用如醫療影片分析和自動駕駛場景中的影片理解尤為關鍵。未來的工作可以進一步最佳化檢查器的效率,並探索在更多模態上的泛化能力。