鉄道や発電所などの重要インフラの保守において、運用の安全性と信頼性を確保することは不可欠です。しかし、熟練保守作業員の減少に伴い、専門家のノウハウを経験の浅い作業員に伝承する必要性が高まっています。従来の研究は主に観察可能な動作の違いに焦点を当てていましたが、専門家の知識は動作だけでなく、作業遂行中の文脈的意思決定にも埋め込まれています。本研究では、2つの作業ビデオ間で異常フレームを検出し、専門家特有の行動と文脈的意思決定シーンを含む候補を自動抽出する手法を提案します。
提案手法は、視覚言語モデル（VLM）を使用してフレームごとの視覚的説明を生成します。専門家特有の行動は、2つのビデオ間の説明比較から計算されるフレーム類似度に基づいて抽出され、文脈的意思決定シーンは、ビデオ内の説明の自己類似性から導出されるセグメント類似度を使用して抽出されます。このアプローチにより、観察可能な行動だけでは捉えられない暗黙の知識を効果的に抽出できます。
27のタスクシナリオを含む模擬配電盤保守実験では、提案手法は行動候補の抽出率65％、意思決定シーン候補の抽出率61％を達成し、従来手法の59％および33％を上回りました。これらの結果は、提案アプローチが専門家ノウハウを含む候補シーンを発見する上で有効であることを示しています。将来的には、VLMの記述生成能力をさらに最適化し、鉄道信号システムや発電所設備の保守など、より実際の保守シナリオに拡張することが期待されます。