跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

诊断并纠正多模态大模型在长视频理解中的偏差

文章摘要

这篇论文指出,长视频问答的真正瓶颈不只是帧采样稀疏,更是语言虚假相关和显著但无关的视觉线索造成的偏差;作者提出诊断基准 S-MME 和免训练框架 CLEAR,通过在推理时对隐藏状态进行反事实干预来纠正偏差,并在五个基准上验证了方法的通用性与稳健性提升。

来源arXiv Computer Vision作者: Xusheng Liang, Jianqiao Sun, Hao Zhang, Yulei Niu, Hengshuang Zhao, Jiawei Ma
诊断并纠正多模态大模型在长视频理解中的偏差
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

长视频问答的难点在于,正确答案往往只取决于视频中零散分布的少数决定性时刻。受显存与上下文长度限制,多模态大模型(MLLM)通常只能以极低的帧率对视频采样,这种稀疏表示很容易漏掉关键证据。直观的应对方式是大幅扩张上下文窗口,但该论文指出,即使扩大上下文,性能仍然受到更深层因素的根本性制约,也就是偏差。

论文所讨论的偏差包括两类误导性线索。第一类是虚假的语言相关性,即模型可能依据问题文本中的表面共现或措辞习惯,而非视频内容来推断答案。第二类是视觉上显著但与问题无关的观察,例如画面中高对比度或运动剧烈的区域会吸引模型注意力,却并不包含回答所需的证据。这两类捷径会让模型在证据不足时仍给出看似合理的答案。

为了系统刻画这一问题,作者首先提出了 S-MME 基准。该基准专门用于诊断多模态大模型在长视频理解中的捷径偏差行为,使研究者能够区分模型是真正依据关键帧作答,还是依赖语言或视觉上的表面线索。这一诊断工具的意义在于,它把性能下降的原因从单纯的帧稀疏问题,转向对模型决策机制的检验。

在纠正方法上,论文提出了名为 CLEAR 的免训练框架,全称为反事实长视频证据感知推理。CLEAR 将完整的视频与问题对视为一个完整视图,并在此基础上构造增强视图:一种只保留问题文本,另一种只保留局部显著的视觉片段。通过比较完整视图与这些增强视图下的输出,CLEAR 可以估计偏差对预测的影响。

随后,CLEAR 在推理阶段对模型的隐藏状态进行干预,以缓解完整视图与增强视图之间的表征差异。这样做的目标是让模型在真正依据视频证据时能够更有信心地预测正确答案,而不是被语言或视觉捷径牵着走。由于整个过程不需要额外训练,该方法可以直接叠加到现有模型之上。

作者在五个基准上开展了实验,结果表明该方法具有较好的通用性,可以集成到不同的多模态大模型中,并在预测准确性和稳健性上取得一致提升。论文作者希望 CLEAR 能为长视频理解中的测试时扩展提供一个互补方向,即除了扩大上下文之外,还可以从偏差校正的角度提升推理质量。该论文共 10 页、含 6 幅图,代码已公开,属于计算机视觉与模式识别方向,于 2026 年 10 月 26 日提交至 arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出 S-MME 基准,用于系统诊断多模态大模型在长视频问答中的捷径偏差行为。
  • 提出免训练的 CLEAR 框架,通过仅保留问题或局部显著片段构造增强视图,估计偏差影响。
  • 在推理阶段对隐藏状态进行干预,缓解完整视图与增强视图之间的差异,从而更有信心地给出正确答案。
  • 在五个基准上实验,显示该方法可集成到不同多模态大模型中,并带来一致的预测与稳健性收益。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。