跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

推理引導的空間定位:通過多模態大語言模型提升視頻異常檢測

文章摘要

該論文提出VANGUARD框架,將視頻異常檢測中的分類、空間定位和鏈式推理統一在單一視覺語言模型中。在UCF-Crime數據集上達到94% ROC-AUC和84% F1,同時提供可解釋的異常事件推理和精確的空間定位。

來源arXiv Computer Vision作者: Sakshi Agarwal, Aishik Konwer, Ankit Parag Shah
推理引導的空間定位:通過多模態大語言模型提升視頻異常檢測
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視頻異常檢測(Video Anomaly Detection, VAD)是計算機視覺中的一項重要任務,廣泛應用於公共安全、工業監控等領域。傳統方法通常將異常檢測視為二分類或離羣點檢測問題,無法提供對異常事件的可解釋推理,也無法精準定位異常發生的空間位置。近年來,視覺語言模型(Vision-Language Models, VLMs)展現出強大的場景理解能力,但在空間定位方面仍存在明顯不足,常常產生幻覺或無意義的邊界框。

針對這一挑戰,來自美國的研究團隊提出了VANGUARD(Video Anomaly Understanding through Reasoning and Grounding)框架,將異常分類、空間定位和鏈式推理統一在單一視覺語言模型中。VANGUARD的核心創新在於其三階段課程學習策略:第一階段使用凍結的主幹網絡特徵進行分類器預熱;第二階段通過LoRA適配進行空間定位訓練;第三階段生成鏈式推理。這種漸進式的訓練方式使得模型能夠逐步掌握不同層次的任務。

為克服視頻異常檢測基準測試中標註稀疏的問題,團隊設計了一套教師-學生標註管線。具體來説,利用Qwen3-VL-4B模型作為教師,基於UCA數據集的人工標註生成結構化的子片段推理軌跡,同時使用GroundingDINO提供邊界框監督信號。這一方法有效擴大了訓練數據的覆蓋範圍。

在UCF-Crime數據集上的實驗表明,VANGUARD取得了94%的ROC-AUC和84%的F1分數,顯著優於現有方法。更重要的是,該框架能夠同時生成可解釋的鏈式推理和異常對象的空間定位,這是以往任何VAD方法都未能實現的能力。消融實驗證實,分階段訓練優於整體優化,且結構化推理作為隱式正則化器,比僅進行分類微調能產生更平衡的預測。此外,在XD-Violence和ShanghaiTech數據集上的零樣本遷移實驗表明,VANGUARD具有良好的跨域泛化能力,無需針對新領域進行適配。

這項研究不僅為視頻異常檢測提供了新的思路,也展示了結合推理與定位的多模態大語言模型在安全監控領域的巨大潛力。

展開要點與分析

文章情報

工程師進階

要點

  • VANGUARD框架融合異常分類、空間定位和鏈式推理
  • 三階段課程訓練有效提升性能
  • 在UCF-Crime上取得94% ROC-AUC和84% F1
  • 零樣本遷移至XD-Violence和ShanghaiTech

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。