DELTAVID：利用跨视频差异增强细粒度时空感知
视频多模态大语言模型在全局语义理解上取得进展，但在局部时空感知上仍存在不足。本文提出DELTAVID框架，将跨视频找不同转化为可训练的感知信号，并配套构建DELTAVID-10K数据集和DELTAVID-Bench基准。实验表明，该方法不仅显著提升跨视频差异理解能力，还将学到的局部证据推理迁移到多个通用视频理解基准中，推动模型从粗粒度语义理解走向细粒度时空证据推理。
近年来，视频多模态大语言模型在开放式的视频理解任务上取得了显著进展，能够对视频内容进行全局语义层面的描述与问答。然而，这类模型在精准的局部时空感知方面仍存在明显短板。当两个视频共享几乎相同的全局语义，仅在一小段时间或一个小区区域上存在差异时，现有模型往往无法准确发现变化并提供可靠证据。针对这一问题，Yankai Yang等研究者提出了DELTAVID框架，旨在通过跨视频差异来增强细粒度的时空感知能力。
DELTAVID的核心思想是将“跨视频找不同”这一任务转化为可训练的感知信号。具体而言，模型通过比较两个相似视频，识别局部变化、判断时间边界，并组织空间证据。为了让这一信号能够规模化训练并可靠评估，研究团队进一步构建了DELTAVID-10K数据集和DELTAVID-Bench基准。DELTAVID-10K将真实视频中的可控局部差异转化为带有证据标签的训练样本，包含约10,000个样本，覆盖多种场景和变化类型。DELTAVID-Bench则提供标准化测试集，用于评估模型在跨视频差异理解上的表现，包括时间边界定位、空间区域识别和变化描述等维度。
实验结果显示，DELTAVID在跨视频差异理解任务上取得了显著性能提升，在多个指标上相比基线模型有大幅度提高。更重要的是，模型学到的局部证据推理能力能够有效迁移到通用的视频理解基准中，包括MMVU、MLVU、Video-MME、VideoHolmes、VideoMMMU、LVBench、TempCompass和LongVideoBench。这些基准涵盖视频问答、时间定位、空间推理等多种任务，说明DELTAVID带来的细粒度感知能力具有广泛的适用性。此外，研究还进行了消融实验，验证了各模块的有效性，并分析了不同视频差异类型对模型性能的影响。
这些成果表明，跨视频差异不仅是诊断细粒度感知失败的有效手段，更是一种可扩展的代理监督信号，能够推动视频多模态大语言模型从粗粒度的语义理解迈向细粒度的时空证据推理。DELTAVID为视频理解领域提供了一种新的训练范式，有助于模型在实际应用中更准确地识别细微变化，例如监控视频中的异常事件或医学影像中的微小病变。未来，该框架有望进一步扩展到更多复杂场景，并结合其他感知模态实现更全面的理解。