近年來，影片多模態大語言模型在開放式的影片理解任務上取得了顯著進展，能夠對影片內容進行全域性語義層面的描述與問答。然而，這類模型在精準的區域性時空感知方面仍存在明顯短板。當兩個影片共享幾乎相同的全域性語義，僅在一小段時間或一個小區區域上存在差異時，現有模型往往無法準確發現變化並提供可靠證據。針對這一問題，Yankai Yang等研究者提出了DELTAVID框架，旨在透過跨影片差異來增強細粒度的時空感知能力。
DELTAVID的核心思想是將“跨影片找不同”這一任務轉化為可訓練的感知訊號。具體而言，模型透過比較兩個相似影片，識別區域性變化、判斷時間邊界，並組織空間證據。為了讓這一訊號能夠規模化訓練並可靠評估，研究團隊進一步構建了DELTAVID-10K資料集和DELTAVID-Bench基準。DELTAVID-10K將真實影片中的可控區域性差異轉化為帶有證據標籤的訓練樣本，包含約10,000個樣本，覆蓋多種場景和變化型別。DELTAVID-Bench則提供標準化測試集，用於評估模型在跨影片差異理解上的表現，包括時間邊界定位、空間區域識別和變化描述等維度。
實驗結果顯示，DELTAVID在跨影片差異理解任務上取得了顯著效能提升，在多個指標上相比基線模型有大幅度提高。更重要的是，模型學到的區域性證據推理能力能夠有效遷移到通用的影片理解基準中，包括MMVU、MLVU、Video-MME、VideoHolmes、VideoMMMU、LVBench、TempCompass和LongVideoBench。這些基準涵蓋影片問答、時間定位、空間推理等多種任務，說明DELTAVID帶來的細粒度感知能力具有廣泛的適用性。此外，研究還進行了消融實驗，驗證了各模組的有效性，並分析了不同影片差異型別對模型效能的影響。
這些成果表明，跨影片差異不僅是診斷細粒度感知失敗的有效手段，更是一種可擴充套件的代理監督訊號，能夠推動影片多模態大語言模型從粗粒度的語義理解邁向細粒度的時空證據推理。DELTAVID為影片理解領域提供了一種新的訓練正規化，有助於模型在實際應用中更準確地識別細微變化，例如監控影片中的異常事件或醫學影像中的微小病變。未來，該框架有望進一步擴充套件到更多複雜場景，並結合其他感知模態實現更全面的理解。