危險還是異常？評估視覺語言模型對危險與差異的理解

現代安全關鍵系統，例如災難響應、自主機器人以及醫療急救等場景，越來越依賴人機交互來有效降低風險並支持決策。在這些高風險環境中，視覺語言模型（VLM）因其能夠解讀複雜視覺場景並傳達安全相關信息而展現出巨大潛力。然而，要確保這些模型在關鍵時刻做出可靠的安全推理，仍需進行細緻的評估。目前，對VLM危險識別能力的評估通常採用二元框架，即簡單地將場景分類為“安全”或“不安全”。這種方法存在一個根本性缺陷：它無法區分模型是識別出了真正的物理危險，還是僅僅對場景中的異常或罕見元素做出了反應。例如，一個模型可能將一隻出現在室內的貓標記為“不安全”，但貓本身並無危害，只是場景異常。

為彌補這一不足，研究人員引入了一個關鍵的區分——危險與異常。危險指的是可能直接導致人身傷害或財產損失的物理危害，例如火災、倒塌結構或泄漏的化學物質；而異常則是指不尋常或意外的場景元素，它們可能完全無害，例如一個倒置的椅子或一隻寵物。通過分別識別危險和異常狀態，研究團隊能夠更精確地檢驗VLM的安全推理能力。他們設計了兩組數據集，涵蓋多種場景，並採用多種提示策略，對多個最先進的VLM進行了評估。

結果顯示，VLM經常將異常元素誤判為危險。換句話説，它們傾向於將任何看起來不尋常的事物視為潛在威脅。這種將上下文不規則性作為危險代理的過度依賴，可能導致對實際危險情況的誤判或過度反應。例如，模型可能對一個看起來混亂但安全的場景發出警報，而對一個看似正常但實際存在隱患的場景（如微弱煙霧）無動於衷。此外，明確的區分揭示出，在二元安全判斷下被掩蓋的特定失敗模式，例如對看似危險但實際無害的場景反應過度，而對真正危險但場景看似正常的威脅反應不足。研究人員強調，這種失敗模式在傳統安全評估中容易被忽略，而區分危險與異常有助於暴露這些問題。

這項研究不僅提供了更全面的VLM安全推理評估方法，還為改進模型設計提供了具體方向。例如，可以通過訓練數據增強、多任務學習或引入異常檢測模塊來減少誤判。為了促進該領域的進一步研究，研究人員公開了數據集，該數據集可在Roboflow平台上獲取，供其他研究者使用。這項研究源自一篇被RO-MAN 2026會議接收的論文，為安全關鍵系統中VLM的可靠應用奠定了方法論基礎。