全モーダル大規模言語モデル（Omni LLMs）の急速な発展により、視覚、音声、テキストなどの複数のモダリティを同時に処理できるようになったが、既存のマルチモーダル安全性ベンチマークはほぼすべてが単一モダリティ（主に視覚）に限定されており、複雑なマルチモーダル環境におけるこれらのモデルの安全性を包括的に評価することはできない。このギャップを埋めるため、複数の研究機関の研究者らは、Omni LLMsのマルチモーダル環境での安全性を体系的にテストするためのベンチマーク「MCBench（マルチコンテキスト安全性評価ベンチマーク）」を提案した。
MCBenchの中心的な設計は、物理的安全性、情報漏洩、ヘイトスピーチ、不適切なコンテンツの4つの安全カテゴリにわたる1196の慎重に構築されたシナリオに基づいている。各シナリオは、モデルが正確な判断を下すために複数のモダリティ情報を統合する必要があるように設計されている。さらに重要なのは、各不安全シナリオには、危険物を無害な物に置き換えたり、音声のトーンを変更したりするなど、最小限の違いしかない安全な対応シナリオがペアになっていることである。このペア設計により、研究者はモデルが微妙な安全手がかりに対する感度を正確に測定し、モデルが安全性の境界を本当に理解しているかどうかを識別できる。
研究チームは、現在の最先端のOmni LLMsを包括的に評価し、重要な課題を明らかにした。微妙または非物理的なリスク（例えば、暗示的な発言や微妙な脅威）が関わる場合、モデルのパフォーマンスは全般的に低く、誤り率が高い。しかし、明確な視覚的または聴覚的手がかり（例えば、明確な武器の画像や恐怖の声色）が存在する場合、モデルの判断精度は大幅に向上する。これは、モデルがある程度顕著なモダリティ信号に依存しているが、隠れた間接的なリスクに対するロバスト性が欠如していることを示している。
原因をさらに探るため、研究者らはモデルの推論トレースを分析した。その結果、Omni LLMsは各モダリティから関連する特徴情報（例えば、画像から物体を識別し、音声から感情を捉える）を抽出できるが、これらのクロスモーダル手がかりを統合して全体的な安全性判断を行う際にしばしば失敗することが判明した。例えば、モデルは画像中のナイフを正しく認識しても、音声の脅迫的な言葉を見落とし、誤った安全判断を下す可能性がある。このクロスモーダル統合の欠陥が、複雑な安全シナリオにおけるモデルのパフォーマンス低下の核心的な原因である。
この研究の発見は、全モーダルAIの安全な展開にとって重要な意味を持つ。現在の最先端のOmni LLMsは、安全クリティカルなタスクにおいて堅牢なクロスモーダル推論を欠いており、単一モーダル情報や浅い融合だけでは現実世界の複雑なリスクに対処するのに不十分であることを示している。研究者らは、将来の研究はモデルアーキテクチャの改善、より効果的なマルチモーダル融合メカニズムの設計、およびモデルにクロスモーダル推論を強制するトレーニング戦略の開発に焦点を当てるべきだと強調している。さらに、MCBench自体が拡張可能な評価プラットフォームを提供し、より多くの安全カテゴリやシナリオをカバーすることで、この分野の継続的な進歩を促進する。