長視頻問答的難點在於,正確答案往往只取決於視頻中零散分佈的少數決定性時刻。受顯存與上下文長度限制,多模態大模型(MLLM)通常只能以極低的幀率對視頻採樣,這種稀疏表示很容易漏掉關鍵證據。直觀的應對方式是大幅擴張上下文窗口,但該論文指出,即使擴大上下文,性能仍然受到更深層因素的根本性制約,也就是偏差。
論文所討論的偏差包括兩類誤導性線索。第一類是虛假的語言相關性,即模型可能依據問題文本中的表面共現或措辭習慣,而非視頻內容來推斷答案。第二類是視覺上顯著但與問題無關的觀察,例如畫面中高對比度或運動劇烈的區域會吸引模型注意力,卻並不包含回答所需的證據。這兩類捷徑會讓模型在證據不足時仍給出看似合理的答案。
為了系統刻畫這一問題,作者首先提出了 S-MME 基準。該基準專門用於診斷多模態大模型在長視頻理解中的捷徑偏差行為,使研究者能夠區分模型是真正依據關鍵幀作答,還是依賴語言或視覺上的表面線索。這一診斷工具的意義在於,它把性能下降的原因從單純的幀稀疏問題,轉向對模型決策機制的檢驗。
在糾正方法上,論文提出了名為 CLEAR 的免訓練框架,全稱為反事實長視頻證據感知推理。CLEAR 將完整的視頻與問題對視為一個完整視圖,並在此基礎上構造增強視圖:一種只保留問題文本,另一種只保留局部顯著的視覺片段。通過比較完整視圖與這些增強視圖下的輸出,CLEAR 可以估計偏差對預測的影響。
隨後,CLEAR 在推理階段對模型的隱藏狀態進行干預,以緩解完整視圖與增強視圖之間的表徵差異。這樣做的目標是讓模型在真正依據視頻證據時能夠更有信心地預測正確答案,而不是被語言或視覺捷徑牽着走。由於整個過程不需要額外訓練,該方法可以直接疊加到現有模型之上。
作者在五個基準上開展了實驗,結果表明該方法具有較好的通用性,可以集成到不同的多模態大模型中,並在預測準確性和穩健性上取得一致提升。論文作者希望 CLEAR 能為長視頻理解中的測試時擴展提供一個互補方向,即除了擴大上下文之外,還可以從偏差校正的角度提升推理質量。該論文共 10 頁、含 6 幅圖,代碼已公開,屬於計算機視覺與模式識別方向,於 2026 年 10 月 26 日提交至 arXiv。