MuteBench：不完整多模態融合的模態不可用容忍性評估

多模態生理資料為從重症監護室到可穿戴裝置的臨床AI系統提供動力，但感測器在實踐中經常失效。兩種常見的失效模式是：模態缺失，即整個通道缺失；以及模態內缺失，即連續時間段的丟失。現有的基準測試無法在受控嚴重程度下，跨多種臨床資料集評估多種融合架構在兩種失效模式下的表現。為此，我們提出了MuteBench，這是一個涵蓋7個臨床領域9個資料集、6種融合架構和2種缺失模式的基準測試，總計125,000個樣本。該基準測試涵蓋了廣泛的資料集，包括心電圖、腦電圖、血壓等生理訊號，以及影像和文本資料，確保了評估的多樣性。融合架構包括早期融合、晚期融合、交叉注意力融合、張量融合、低秩融合和專家混合等多種主流方法。透過控制缺失的嚴重程度（從輕微到完全缺失），MuteBench能夠系統地評估每種架構在兩種故障模式下的魯棒性。

透過該基準測試，我們發現架構族是魯棒性的最強預測因子，其重要性超過引數數量。通道獨立模型能很好地容忍模態缺失，但對模態內缺失敏感，尤其是在短序列上。課程模態丟失僅在訓練時使用的最大丟失率內提供可靠的保護。我們還發現，通道數、序列長度和模態對齊共同決定了哪種失效模式更具威脅。例如，當序列較短時，模態內缺失對通道獨立模型的影響更為顯著；而當通道數較多時，模態缺失的影響可能更大。這些發現為實踐者提供了選擇合適架構的具體指導。

最後，基於PTB-XL資料集的案例研究表明，擴散基插補可以改善模態內缺失下的下游分類，尤其對專家路由對損壞輸入最敏感的模型效果最為顯著。然而，這一方法在更多資料集上的廣泛驗證仍有待探索。MuteBench為實踐者提供了具體指導，既有助於選擇現有架構，也為未來設計更魯棒的多模態融合方法提供了參考。