长视频问答的难点在于,正确答案往往只取决于视频中零散分布的少数决定性时刻。受显存与上下文长度限制,多模态大模型(MLLM)通常只能以极低的帧率对视频采样,这种稀疏表示很容易漏掉关键证据。直观的应对方式是大幅扩张上下文窗口,但该论文指出,即使扩大上下文,性能仍然受到更深层因素的根本性制约,也就是偏差。
论文所讨论的偏差包括两类误导性线索。第一类是虚假的语言相关性,即模型可能依据问题文本中的表面共现或措辞习惯,而非视频内容来推断答案。第二类是视觉上显著但与问题无关的观察,例如画面中高对比度或运动剧烈的区域会吸引模型注意力,却并不包含回答所需的证据。这两类捷径会让模型在证据不足时仍给出看似合理的答案。
为了系统刻画这一问题,作者首先提出了 S-MME 基准。该基准专门用于诊断多模态大模型在长视频理解中的捷径偏差行为,使研究者能够区分模型是真正依据关键帧作答,还是依赖语言或视觉上的表面线索。这一诊断工具的意义在于,它把性能下降的原因从单纯的帧稀疏问题,转向对模型决策机制的检验。
在纠正方法上,论文提出了名为 CLEAR 的免训练框架,全称为反事实长视频证据感知推理。CLEAR 将完整的视频与问题对视为一个完整视图,并在此基础上构造增强视图:一种只保留问题文本,另一种只保留局部显著的视觉片段。通过比较完整视图与这些增强视图下的输出,CLEAR 可以估计偏差对预测的影响。
随后,CLEAR 在推理阶段对模型的隐藏状态进行干预,以缓解完整视图与增强视图之间的表征差异。这样做的目标是让模型在真正依据视频证据时能够更有信心地预测正确答案,而不是被语言或视觉捷径牵着走。由于整个过程不需要额外训练,该方法可以直接叠加到现有模型之上。
作者在五个基准上开展了实验,结果表明该方法具有较好的通用性,可以集成到不同的多模态大模型中,并在预测准确性和稳健性上取得一致提升。论文作者希望 CLEAR 能为长视频理解中的测试时扩展提供一个互补方向,即除了扩大上下文之外,还可以从偏差校正的角度提升推理质量。该论文共 10 页、含 6 幅图,代码已公开,属于计算机视觉与模式识别方向,于 2026 年 10 月 26 日提交至 arXiv。