跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於VLM描述比較的異常幀檢測:利用影片內自相似性提取專家特定動作與情境決策場景

文章摘要

本文提出一種新方法,透過視覺語言模型(VLM)生成逐幀描述,並比較兩個任務影片間的幀相似度及段內自相似性,自動檢測異常幀,從而提取包含專家特定動作和情境決策知識的候選場景。在模擬配電板維護實驗(27個任務場景)中,該方法動作候選提取率達65%,決策場景候選提取率達61%,優於傳統方法的59%和33%。

來源arXiv Computer Vision作者: Ryo Sakai, Kaname Yokoyama
基於VLM描述比較的異常幀檢測:利用影片內自相似性提取專家特定動作與情境決策場景
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在鐵路、發電廠等關鍵基礎設施的維護中,確保操作安全與可靠性至關重要。然而,隨著熟練維護工人數量的不斷減少,如何將專家知識有效傳遞給經驗不足的工人成為一個緊迫問題。以往的研究主要關注可觀察動作的差異,但專家知識不僅體現在動作上,還深嵌於任務執行過程中的情境決策。本文提出了一種基於異常幀檢測的新方法,透過自動比較兩個任務影片,提取包含專家特定動作和情境決策場景的候選片段。

該方法的核心是利用視覺語言模型(VLM)為每個影片幀生成視覺描述。具體來說,首先使用VLM對兩個影片逐幀生成文本描述。然後,透過計算兩個影片之間描述比較的幀相似度,提取專家特定動作;同時,利用影片內描述的自相似性計算片段相似度,提取情境決策場景。這種方法能夠有效捕捉那些僅透過觀察動作無法發現的隱形知識。

在涉及27個任務場景的模擬配電板維護實驗中,該方法對動作候選的提取率達到65%,對決策場景候選的提取率達到61%,相比傳統方法的59%和33%有顯著提升。這些結果充分表明,該技術能夠有效發現蘊含專家知識的候選場景,為知識傳遞提供了強有力的工具。未來工作可能進一步最佳化VLM的描述生成能力,並擴充套件到更多實際維護場景中,例如鐵路訊號系統或發電廠裝置維護。

展開要點與分析

文章情報

工程師進階

要點

  • 利用VLM生成逐幀視覺描述,透過幀間描述比較提取專家特定動作。
  • 透過影片內描述的自相似性分析,發現情境決策場景。
  • 在27個任務場景的模擬實驗中,動作和決策場景提取率分別提升至65%和61%。
  • 旨在解決關鍵基礎設施維護中專家知識傳遞的難題。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。