近年來,視覺-語言模型(VLM)在影片異常檢測(VAD)中展現出強大的效能,同時能夠提供可解釋的預測。然而,現有基於VLM的VAD方法存在一個根本性問題:訓練和推理階段在資料分佈和模型配置上存在不匹配。大多數方法依賴靜態的後訓練適應策略,這限制了模型在遇到未見環境或異常型別等分佈偏移時的泛化能力。此外,這些方法在訓練時使用長影片中的稀疏幀,但在推理時卻對密集取樣的短片段進行預測,導致訓練和測試之間的不一致。為了解決這些問題,來自研究團隊(作者包括Darryl Cherian Jacob等人)提出了COPRA,一個用於基於VLM的VAD的條件引數自適應框架。該框架的核心思想是:不再使用固定的提示或共享的引數更新,而是為每個影片片段生成輸入特定的引數更新,從而在訓練和推理過程中動態地調整一個凍結的VLM。這種方法允許模型根據當前輸入的具體情況自適應地調整其行為,從而更好地應對分佈偏移。實驗表明,在標準的VAD基準測試中,COPRA在域內和跨域場景下都持續優於靜態基線方法。更重要的是,COPRA的泛化能力不僅限於VAD,還能擴充套件到多個未見任務,例如多項選擇影片問答和密集字幕生成。這些結果突顯了COPRA作為一種有效的權重空間生成框架,可以實現可擴充套件、自適應且上下文感知的影片理解。該論文於2026年5月14日提交至arXiv,目前正在審稿中。程式碼將在GitHub上公開(倉庫地址:THE-MALT-LAB/COPRA)。研究團隊表示,COPRA有望成為影片理解領域的基礎性方法,為未來更廣泛的適應性模型奠定基礎。
COPRA:基於強化學習的條件引數自適應影片異常檢測
文章摘要
COPRA是一種新型的影片異常檢測框架,透過為每個影片片段生成特定的引數更新,動態調整凍結的視覺-語言模型,解決了訓練與推理之間的資料分佈和模型配置不匹配問題。在標準基準測試中,COPRA在域內和跨域場景下均優於靜態基線方法,並泛化到影片問答和密集描述等未見任務。
COPRA:基於強化學習的條件引數自適應影片異常檢測