跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

COPRA:基於強化學習的條件引數自適應影片異常檢測

文章摘要

COPRA是一種新型的影片異常檢測框架,透過為每個影片片段生成特定的引數更新,動態調整凍結的視覺-語言模型,解決了訓練與推理之間的資料分佈和模型配置不匹配問題。在標準基準測試中,COPRA在域內和跨域場景下均優於靜態基線方法,並泛化到影片問答和密集描述等未見任務。

來源arXiv Computer Vision作者: Darryl Cherian Jacob, Xinyu Liu, Kai Wang, Pan He
COPRA:基於強化學習的條件引數自適應影片異常檢測
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,視覺-語言模型(VLM)在影片異常檢測(VAD)中展現出強大的效能,同時能夠提供可解釋的預測。然而,現有基於VLM的VAD方法存在一個根本性問題:訓練和推理階段在資料分佈和模型配置上存在不匹配。大多數方法依賴靜態的後訓練適應策略,這限制了模型在遇到未見環境或異常型別等分佈偏移時的泛化能力。此外,這些方法在訓練時使用長影片中的稀疏幀,但在推理時卻對密集取樣的短片段進行預測,導致訓練和測試之間的不一致。為了解決這些問題,來自研究團隊(作者包括Darryl Cherian Jacob等人)提出了COPRA,一個用於基於VLM的VAD的條件引數自適應框架。該框架的核心思想是:不再使用固定的提示或共享的引數更新,而是為每個影片片段生成輸入特定的引數更新,從而在訓練和推理過程中動態地調整一個凍結的VLM。這種方法允許模型根據當前輸入的具體情況自適應地調整其行為,從而更好地應對分佈偏移。實驗表明,在標準的VAD基準測試中,COPRA在域內和跨域場景下都持續優於靜態基線方法。更重要的是,COPRA的泛化能力不僅限於VAD,還能擴充套件到多個未見任務,例如多項選擇影片問答和密集字幕生成。這些結果突顯了COPRA作為一種有效的權重空間生成框架,可以實現可擴充套件、自適應且上下文感知的影片理解。該論文於2026年5月14日提交至arXiv,目前正在審稿中。程式碼將在GitHub上公開(倉庫地址:THE-MALT-LAB/COPRA)。研究團隊表示,COPRA有望成為影片理解領域的基礎性方法,為未來更廣泛的適應性模型奠定基礎。

展開要點與分析

文章情報

工程師進階

要點

  • 現有VLM-based VAD方法存在訓練與推理的不匹配問題,包括靜態適應限制和幀取樣不一致。
  • COPRA透過條件引數適應,為每個影片片段生成輸入特定的引數更新,實現動態調整。
  • 在標準VAD基準上,COPRA表現優於靜態基線,且能泛化到多個未見任務。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。