在鐵路、發電廠等關鍵基礎設施的維護中,確保操作安全與可靠性至關重要。然而,隨着熟練維護工人數量的不斷減少,如何將專家知識有效傳遞給經驗不足的工人成為一個緊迫問題。以往的研究主要關注可觀察動作的差異,但專家知識不僅體現在動作上,還深嵌於任務執行過程中的情境決策。本文提出了一種基於異常幀檢測的新方法,通過自動比較兩個任務視頻,提取包含專家特定動作和情境決策場景的候選片段。
該方法的核心是利用視覺語言模型(VLM)為每個視頻幀生成視覺描述。具體來説,首先使用VLM對兩個視頻逐幀生成文本描述。然後,通過計算兩個視頻之間描述比較的幀相似度,提取專家特定動作;同時,利用視頻內描述的自相似性計算片段相似度,提取情境決策場景。這種方法能夠有效捕捉那些僅通過觀察動作無法發現的隱形知識。
在涉及27個任務場景的模擬配電板維護實驗中,該方法對動作候選的提取率達到65%,對決策場景候選的提取率達到61%,相比傳統方法的59%和33%有顯著提升。這些結果充分表明,該技術能夠有效發現藴含專家知識的候選場景,為知識傳遞提供了強有力的工具。未來工作可能進一步優化VLM的描述生成能力,並擴展到更多實際維護場景中,例如鐵路信號系統或發電廠設備維護。