近年、ビデオマルチモーダル大規模言語モデル（MLLM）は、オープンエンドなビデオ理解タスクで大きな進歩を遂げ、ビデオのグローバルな意味を記述・質問応答できるようになりました。しかし、これらのモデルは精密な局所時空間知覚に依然として課題を抱えています。二つのビデオがほぼ同じグローバル意味を共有しながら、短い時間範囲や小さな領域だけが異なる場合、既存のモデルはしばしば変化を発見できず、信頼できるエビデンスを提供できません。この問題に対処するため、Yankai YangらはDELTAVIDフレームワークを提案しました。
DELTAVIDの核となるアイデアは、「クロスビデオの違い探し」を訓練可能な知覚信号に変換することです。モデルは類似したビデオを比較し、局所的な変化を識別し、時間的境界を判断し、空間的なエビデンスを整理します。この信号をスケーラブルに訓練し、信頼性高く評価するために、研究チームはさらにDELTAVID-10KデータセットとDELTAVID-Benchベンチマークを構築しました。DELTAVID-10Kは、実ビデオの制御可能な局所差分をエビデンスラベル付きの訓練サンプルに変換し、約10,000サンプルを含みます。DELTAVID-Benchは標準化されたテストセットを提供し、時間境界の特定、空間領域の認識、変化の記述など、クロスビデオ差分理解におけるモデルの性能を評価します。
実験結果は、DELTAVIDがクロスビデオ差分理解タスクで大幅な性能向上を達成することを示しました。重要なのは、学習された局所エビデンス能力が、MMVU、MLVU、Video-MME、VideoHolmes、VideoMMMU、LVBench、TempCompass、LongVideoBenchを含む一般的なビデオ理解ベンチマークに転移可能であることです。これらのベンチマークは、ビデオ質問応答、時間的定位、空間的推論など多様なタスクをカバーしており、DELTAVIDがもたらす細粒度知覚能力の広範な適用可能性を示しています。さらに、アブレーション研究により各モジュールの有効性が検証され、異なる差分タイプがモデル性能に与える影響も分析されました。
これらの結果は、クロスビデオ差分が細粒度知覚の失敗を診断する効果的な手段であるだけでなく、ビデオMLLMを粗い意味理解から細粒度の時空間エビデンス推論へと導くスケーラブルな代理監視であることを示しています。DELTAVIDはビデオ理解分野に新しい訓練パラダイムを提供し、監視ビデオの異常イベントや医用画像の微小な病変など、実際のアプリケーションで微妙な変化をより正確に識別するのに役立ちます。将来、このフレームワークはさらに複雑なシナリオに拡張され、他の知覚モダリティと組み合わせることで、より包括的な理解を実現することが期待されます。