マルチモーダル生理データは、集中治療室からウェアラブルデバイスに至る臨床AIシステムを支えていますが、センサーは実際には頻繁に故障します。一般的な故障モードは2つあります：モダリティ欠落（チャネル全体が欠如）とモダリティ内欠落（連続する時間セグメントが欠落）です。既存のベンチマークでは、複数の融合アーキテクチャを両方の故障モードで、制御された重症度レベルで、多様な臨床データセットにわたって評価したものはありません。そこで我々はMuteBenchを提案します。これは、7つの臨床領域からの9つのデータセット、6つの融合アーキテクチャ、2つの欠落モードをカバーし、125,000サンプルにわたるベンチマークです。このベンチマークは、心電図、脳波、血圧などの生理信号、画像やテキストデータなど多様なデータセットを含み、評価の多様性を確保しています。融合アーキテクチャには、初期融合、後期融合、交差注意融合、テンソル融合、低ランク融合、エキスパート混合など、主要な手法が含まれています。欠落の重症度を軽度から完全欠落まで制御することで、MuteBenchは各アーキテクチャの両故障モードに対するロバスト性を体系的に評価できます。
このベンチマークを通じて、アーキテクチャファミリーがロバスト性の最強の予測因子であり、パラメータ数を上回ることがわかりました。チャネル独立モデルはモダリティ欠落をうまく許容しますが、特に短いシーケンスではモダリティ内欠落に敏感になる可能性があります。カリキュラムモダリティドロップアウトは、トレーニングで使用された最大ドロップアウト率までしか確実に保護しません。また、チャネル数、シーケンス長、モダリティアラインメントが共同で、どの故障モードがより大きな脅威となるかを決定することがわかりました。例えば、シーケンスが短い場合、モダリティ内欠落はチャネル独立モデルにより大きな影響を与え、チャネル数が多い場合、モダリティ欠落の影響が大きくなる可能性があります。これらの発見は、実務者に適切なアーキテクチャを選択するための具体的なガイダンスを提供します。
最後に、PTB-XLデータセットを用いたケーススタディでは、拡散ベースのインピュテーションがモダリティ内欠落下での下流分類を改善できることが示唆され、特にエキスパートルーティングが破損入力に最も敏感なモデルで効果が大きいことがわかりました。ただし、データセット全体での広範な検証は今後の課題です。MuteBenchは、既存のアーキテクチャを選択するための具体的なガイダンスを提供するとともに、将来のロバストなマルチモーダル融合手法の設計に役立つ知見を提供します。