多模態大語言模型（MLLMs）通常假設在訓練時使用的所有模態在推理時仍然可用。然而，許多實際場景違反了這一假設，要求模型在特權模態設置下運行，即輔助模態僅在訓練期間可用。例如，在自動駕駛或醫療影像中，某些傳感器或成像模態可能在訓練時存在，但在部署時缺失。這些輔助模態雖然包含寶貴的信息，但現有的MLLMs大多未能有效利用它們，因為它們將模態視為可互換的輸入，而非互補監督的來源。
針對這一問題，來自Sony的研究人員提出了探針混合（MoP）框架。該框架的核心是一種結構化的探針機制，從共享模態編碼器的中間表示中提取並組織信息，而不是像現有MLLMs那樣僅依賴最終層的對齊。通過這種方式，MoP能夠分離模態特定的信號和模態通用的信號，從而保留模態依賴的結構，同時學習跨模態的可遷移表示。為了支持這種解耦，他們還引入了MoP跨模態訓練（MoP-X）策略，其核心是探針解耦損失，該損失函數防止探針坍縮並鼓勵跨模態學習。
研究團隊在跨兩個領域的八個任務和四種模態上評估了MoP，採用了專門為特權模態設置設計的綜合評價協議——每種模態在推理時獨立作為唯一輸入。實驗中使用的模態包括RGB、深度、紅外和熱成像等。MoP始終優於強大的MLLM基線，實現了高達65%的相對改進。例如，在視頻分類和動作識別任務上，MoP顯著提升了性能。這表明，即使輔助模態在推理時不可用，只要在訓練中有效利用，也能帶來顯著的性能提升。
該論文由Dominick Reilly、Qiyu Wu、Hiromi Wakaki、Srijan Das和Yuki Mitsufuji撰寫，作為預印本於2026年7月9日提交至arXiv。MoP框架的代碼、模型檢查點和評估協議將在GitHub上公開發布，代碼倉庫地址為https://github.com/Sony/MoP，以便研究社區復現和進一步探索。