本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

推論ガイド付きグラウンディング:マルチモーダル大規模言語モデルによるビデオ異常検出の向上

記事の要約

本論文では、異常分類、空間グラウンディング、チェーン・オブ・ソート推論を単一のVLMに統合したVANGUARDフレームワークを提案。UCF-Crimeデータセットで94%のROC-AUC、84%のF1を達成し、解釈可能な推論と正確な位置特定を実現する。

ソースarXiv Computer Vision著者: Sakshi Agarwal, Aishik Konwer, Ankit Parag Shah
推論ガイド付きグラウンディング:マルチモーダル大規模言語モデルによるビデオ異常検出の向上
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ビデオ異常検出(Video Anomaly Detection, VAD)は、公共の安全や産業監視などの分野で重要なコンピュータビジョンのタスクである。従来の手法は異常検出を二値分類や外れ値検出として扱い、異常イベントに対する解釈可能な推論や、異常が発生した空間位置の正確な特定を提供できなかった。近年、視覚言語モデル(Vision-Language Models, VLMs)は豊富なシーン理解能力を示しているが、空間グラウンディング(位置特定)においては依然として課題が多く、物体を特定しようとすると幻覚や幾何学的に無効なバウンディングボックスを生成することがある。

この課題に対処するため、研究チームはVANGUARD(Video Anomaly Understanding through Reasoning and Grounding)フレームワークを提案した。これは異常分類、空間グラウンディング、チェーン・オブ・ソート推論を単一のVLMに統合するものである。VANGUARDの核心は三段階のカリキュラム学習戦略にある。第一段階では凍結されたバックボーンの特徴量を用いて分類器をウォームアップする。第二段階ではLoRA適応による空間グラウンディング訓練を行う。第三段階ではチェーン・オブ・ソートの生成を学習する。この段階的な訓練により、モデルは異なるレベルのタスクを段階的に習得できる。

ビデオ異常検出ベンチマークに典型的な疎なアノテーション問題を克服するため、チームは教師-学生アノテーションパイプラインを設計した。具体的には、Qwen3-VL-4Bモデルを教師として使用し、UCAデータセットの手動アノテーションに基づいて構造化されたサブクリップ推論軌跡を生成する。さらに、GroundingDINOがバウンディングボックス監視を提供する。この手法により、訓練データのカバレッジを効果的に拡大できる。

UCF-Crimeデータセットでの実験では、VANGUARDは94%のROC-AUCと84%のF1を達成し、既存手法を大幅に上回った。さらに重要なことに、このフレームワークは解釈可能なチェーン・オブ・ソート説明と異常物体の空間グラウンディングを同時に生成できる。これは従来のVAD手法にはない能力である。アブレーション実験により、段階的訓練が一括最適化より優れ、構造化推論が暗黙の正則化子として機能し、分類のみの微調整よりもバランスの取れた予測をもたらすことが確認された。XD-ViolenceとShanghaiTechデータセットへのゼロショット転移実験では、対象領域適応なしでのクロスドメイン汎化能力が示された。

この研究はビデオ異常検出に新しいアプローチを提供するだけでなく、推論と位置特定を組み合わせたマルチモーダル大規模言語モデルのセキュリティ監視分野における大きな可能性を示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • VANGUARDは異常分類、空間グラウンディング、推論を統合
  • 三段階カリキュラムトレーニングで性能向上
  • UCF-Crimeで94% ROC-AUC、84% F1
  • XD-ViolenceとShanghaiTechへのゼロショット転移

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。