跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

診斷並糾正多模態大模型在長視頻理解中的偏差

文章摘要

這篇論文指出,長視頻問答的真正瓶頸不只是幀採樣稀疏,更是語言虛假相關和顯著但無關的視覺線索造成的偏差;作者提出診斷基準 S-MME 和免訓練框架 CLEAR,通過在推理時對隱藏狀態進行反事實幹預來糾正偏差,並在五個基準上驗證了方法的通用性與穩健性提升。

來源arXiv Computer Vision作者: Xusheng Liang, Jianqiao Sun, Hao Zhang, Yulei Niu, Hengshuang Zhao, Jiawei Ma
診斷並糾正多模態大模型在長視頻理解中的偏差
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

長視頻問答的難點在於,正確答案往往只取決於視頻中零散分佈的少數決定性時刻。受顯存與上下文長度限制,多模態大模型(MLLM)通常只能以極低的幀率對視頻採樣,這種稀疏表示很容易漏掉關鍵證據。直觀的應對方式是大幅擴張上下文窗口,但該論文指出,即使擴大上下文,性能仍然受到更深層因素的根本性制約,也就是偏差。

論文所討論的偏差包括兩類誤導性線索。第一類是虛假的語言相關性,即模型可能依據問題文本中的表面共現或措辭習慣,而非視頻內容來推斷答案。第二類是視覺上顯著但與問題無關的觀察,例如畫面中高對比度或運動劇烈的區域會吸引模型注意力,卻並不包含回答所需的證據。這兩類捷徑會讓模型在證據不足時仍給出看似合理的答案。

為了系統刻畫這一問題,作者首先提出了 S-MME 基準。該基準專門用於診斷多模態大模型在長視頻理解中的捷徑偏差行為,使研究者能夠區分模型是真正依據關鍵幀作答,還是依賴語言或視覺上的表面線索。這一診斷工具的意義在於,它把性能下降的原因從單純的幀稀疏問題,轉向對模型決策機制的檢驗。

在糾正方法上,論文提出了名為 CLEAR 的免訓練框架,全稱為反事實長視頻證據感知推理。CLEAR 將完整的視頻與問題對視為一個完整視圖,並在此基礎上構造增強視圖:一種只保留問題文本,另一種只保留局部顯著的視覺片段。通過比較完整視圖與這些增強視圖下的輸出,CLEAR 可以估計偏差對預測的影響。

隨後,CLEAR 在推理階段對模型的隱藏狀態進行干預,以緩解完整視圖與增強視圖之間的表徵差異。這樣做的目標是讓模型在真正依據視頻證據時能夠更有信心地預測正確答案,而不是被語言或視覺捷徑牽着走。由於整個過程不需要額外訓練,該方法可以直接疊加到現有模型之上。

作者在五個基準上開展了實驗,結果表明該方法具有較好的通用性,可以集成到不同的多模態大模型中,並在預測準確性和穩健性上取得一致提升。論文作者希望 CLEAR 能為長視頻理解中的測試時擴展提供一個互補方向,即除了擴大上下文之外,還可以從偏差校正的角度提升推理質量。該論文共 10 頁、含 6 幅圖,代碼已公開,屬於計算機視覺與模式識別方向,於 2026 年 10 月 26 日提交至 arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • 提出 S-MME 基準,用於系統診斷多模態大模型在長視頻問答中的捷徑偏差行為。
  • 提出免訓練的 CLEAR 框架,通過僅保留問題或局部顯著片段構造增強視圖,估計偏差影響。
  • 在推理階段對隱藏狀態進行干預,緩解完整視圖與增強視圖之間的差異,從而更有信心地給出正確答案。
  • 在五個基準上實驗,顯示該方法可集成到不同多模態大模型中,並帶來一致的預測與穩健性收益。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。