在鐵路、發電廠等關鍵基礎設施的維護中,確保操作安全與可靠性至關重要。然而,隨著熟練維護工人數量的不斷減少,如何將專家知識有效傳遞給經驗不足的工人成為一個緊迫問題。以往的研究主要關注可觀察動作的差異,但專家知識不僅體現在動作上,還深嵌於任務執行過程中的情境決策。本文提出了一種基於異常幀檢測的新方法,透過自動比較兩個任務影片,提取包含專家特定動作和情境決策場景的候選片段。
該方法的核心是利用視覺語言模型(VLM)為每個影片幀生成視覺描述。具體來說,首先使用VLM對兩個影片逐幀生成文本描述。然後,透過計算兩個影片之間描述比較的幀相似度,提取專家特定動作;同時,利用影片內描述的自相似性計算片段相似度,提取情境決策場景。這種方法能夠有效捕捉那些僅透過觀察動作無法發現的隱形知識。
在涉及27個任務場景的模擬配電板維護實驗中,該方法對動作候選的提取率達到65%,對決策場景候選的提取率達到61%,相比傳統方法的59%和33%有顯著提升。這些結果充分表明,該技術能夠有效發現蘊含專家知識的候選場景,為知識傳遞提供了強有力的工具。未來工作可能進一步最佳化VLM的描述生成能力,並擴充套件到更多實際維護場景中,例如鐵路訊號系統或發電廠裝置維護。