視覚言語モデル（VLM）は、自動運転、ロボット操作、産業監視などの安全が重要な物理システムにおいて、知覚と推論のバックボーンとしてますます使用されています。これらのモデルは、視覚入力を理解し、意思決定を行う必要がありますが、知覚や推論のエラーは安全でない決定や行動につながる可能性があります。そのため、敵対的攻撃に対するロバスト性を体系的に評価することが重要です。多くのレッドチーミング手法がVLMの脆弱性を探るために開発されてきましたが、それらの評価はデータセット、指標、脅威モデルにわたって断片化されており、直接比較が困難です。既存のチャットボット中心のレッドチーミングベンチマークは、主にジェイルブレイクとコンテンツセーフティ評価を標準化していますが、物理世界のVLMに特化した機能的な障害を体系的に捉えていません。
この課題に対処するため、Yifei Zhao氏らはREALMを提案しました。これは、物理世界のVLMに対する初の統一レッドチーミングベンチマークです。REALMは、12のレッドチーミング手法、3つのモデルに依存しない防御、13のVLMを、共有データセットと指標を用いた実用的なブラックボックス脅威モデルの下で統合します。異なる攻撃ファミリー間で敵対的目標を整合させるために、REALMはエージェンティックターゲット生成パイプラインを導入し、各シーンに対して共有され、シーン固有で物理的に根拠のある攻撃目標を構築します。これにより、多様なレッドチーミング手法を統一された敵対的目標の下で公平に比較できます。
評価の結果、テキストおよびタイポグラフィ注入攻撃が最も多くの障害を誘発することがわかりました。これは、VLMがテキストの重畳や視覚的なタイポグラフィの変化に対して脆弱であることを示しています。また、マルチモーダル共同最適化は最も強い視覚的摂動転移をもたらし、単一パス攻撃ははるかに低コストで反復手法に近い性能を達成しました。さらに、モデル規模だけでは敵対的ロバスト性が付与されず、大規模モデルが必ずしも安全であるとは限らないことが明らかになりました。
REALMの導入により、物理世界のVLMの安全性評価のための標準化されたフレームワークが提供されました。研究チームはコードを公開しており、コミュニティによる再現と拡張が可能です。今後、このベンチマークはより多くの攻撃手法、防御戦略、モデルタイプに拡張され、物理世界におけるVLMの安全な展開に重要な知見をもたらすと期待されます。