危険か異常か？VLMsによる危険と逸脱の理解の評価
現代の安全クリティカルシステムは、災害リスク低減や緊急時の意思決定支援のために人間とロボットのインタラクションに依存しています。視覚言語モデル（VLM）は複雑なシーンを解釈し安全関連情報を伝達できるため有望ですが、信頼性のある安全推論を確保するには慎重な評価が必要です。現在の評価は危険認識を二値（安全/不安全）で捉えることが多く、モデルが真の物理的危険を特定しているのか、単に異常なシーン要素に反応しているのかが不明瞭です。本研究では危険と異常を明確に区別し、別々に認識することでこの限界に対処しました。複数の最先端VLMを2つのデータセットと複数のプロンプト戦略で評価した結果、VLMはしばしば異常を危険と誤解釈し、文脈上の不規則性を危険の代理として過度に依存していることが明らかになりました。危険と異常を明確に分離することで、VLMの安全推論のより情報に富んだ評価が可能になり、二値的安全判断では隠される故障モードを露呈します。公開データセットはRoboflowで利用可能です。
現代の安全クリティカルシステム、例えば災害対応、自律ロボット、医療緊急対応などは、効果的にリスクを低減し意思決定を支援するために人間とロボットのインタラクションにますます依存しています。視覚言語モデル（VLM）は、複雑な視覚シーンを解釈し安全関連情報を伝達できるため、これらの設定で有望視されています。しかし、重要な瞬間に信頼性のある安全推論を確実に行うためには、慎重な評価が必要です。現在、VLMの危険認識能力の評価は通常、二値的枠組み、すなわちシーンを単純に「安全」または「不安全」に分類する方法で行われています。このアプローチには根本的な欠陥があります。それは、モデルが本当の物理的危険を特定しているのか、単にシーン内の異常または珍しい要素に反応しているのかを区別できないことです。例えば、室内に猫がいるシーンを「不安全」と分類しても、猫自体は無害であり、単に異常な要素に過ぎない可能性があります。
この不足を補うため、研究者らは危険と異常という重要な区別を導入しました。危険とは、火災、倒壊構造物、化学物質の漏洩など、人身傷害や物的損害を直接引き起こす可能性のある物理的危険を指します。一方、異常とは、シーン内の珍しいまたは予期しない要素を指し、例えば椅子が倒れている状態やペットの存在など、完全に無害である可能性があります。危険と異常の状態を別々に認識することで、研究チームはVLMの安全推論能力をより正確に検証できるようになりました。彼らは2つの異なるデータセットを設計し、多様なシーンをカバーするとともに、複数のプロンプト戦略を用いて、最先端のVLMを評価しました。
結果は、VLMがしばしば異常要素を危険と誤って分類することを示しました。つまり、珍しいと思われるものは何でも潜在的な脅威と見なす傾向があります。この文脈上の不規則性を危険の代理として過度に依存することは、実際の危険状況の誤判や過剰反応につながる可能性があります。例えば、モデルは乱雑だが安全なシーンに警告を発する一方、一見正常だが実際には危険が潜むシーン（例えばかすかな煙）には反応しない可能性があります。さらに、明確な区別により、二値的安全判断の下では隠されていた特定の故障モードが明らかになりました。例えば、危険に見えるが実際には無害なシーンに過剰反応するケースや、シーンが正常に見えるが実際に危険な脅威には反応が不十分であるケースです。研究者らは、これらの故障モードは従来の安全評価では見落とされがちであり、危険と異常を区別することで明らかにできると強調しています。
この研究は、VLMの安全推論能力のより包括的な評価方法を提供するだけでなく、モデル改善の具体的な方向性も示しています。例えば、トレーニングデータの拡張、マルチタスク学習、異常検出モジュールの導入などによって誤分類を減らすことができます。この分野のさらなる研究を促進するため、研究者らはデータセットを公開しており、Roboflowプラットフォームから入手可能です。この研究はRO-MAN 2026会議で採択された論文に基づいており、安全クリティカルシステムにおけるVLMの信頼性応用のための方法論的基盤を築いています。