基于VLM描述比较的异常帧检测：利用视频内自相似性提取专家特定动作与情境决策场景
本文提出一种新方法，通过视觉语言模型（VLM）生成逐帧描述，并比较两个任务视频间的帧相似度及段内自相似性，自动检测异常帧，从而提取包含专家特定动作和情境决策知识的候选场景。在模拟配电板维护实验（27个任务场景）中，该方法动作候选提取率达65%，决策场景候选提取率达61%，优于传统方法的59%和33%。
在铁路、发电厂等关键基础设施的维护中，确保操作安全与可靠性至关重要。然而，随着熟练维护工人数量的不断减少，如何将专家知识有效传递给经验不足的工人成为一个紧迫问题。以往的研究主要关注可观察动作的差异，但专家知识不仅体现在动作上，还深嵌于任务执行过程中的情境决策。本文提出了一种基于异常帧检测的新方法，通过自动比较两个任务视频，提取包含专家特定动作和情境决策场景的候选片段。
该方法的核心是利用视觉语言模型（VLM）为每个视频帧生成视觉描述。具体来说，首先使用VLM对两个视频逐帧生成文本描述。然后，通过计算两个视频之间描述比较的帧相似度，提取专家特定动作；同时，利用视频内描述的自相似性计算片段相似度，提取情境决策场景。这种方法能够有效捕捉那些仅通过观察动作无法发现的隐形知识。
在涉及27个任务场景的模拟配电板维护实验中，该方法对动作候选的提取率达到65%，对决策场景候选的提取率达到61%，相比传统方法的59%和33%有显著提升。这些结果充分表明，该技术能够有效发现蕴含专家知识的候选场景，为知识传递提供了强有力的工具。未来工作可能进一步优化VLM的描述生成能力，并扩展到更多实际维护场景中，例如铁路信号系统或发电厂设备维护。