プローブの混合：プロービングによるマルチモーダルLLMの特権モダリティからの学習

マルチモーダル大規模言語モデル（MLLM）は通常、訓練時に利用可能なすべてのモダリティが推論時にもアクセス可能であると仮定して設計されています。しかし、多くの現実世界の設定ではこの仮定が成立せず、補助モダリティが訓練時にのみ利用可能な特権モダリティ設定での動作が求められます。例えば、自動運転や医療画像診断では、特定のセンサーや撮像モダリティが訓練時のみ存在し、推論時には利用できないことがあります。これらのモダリティは貴重な情報を含むものの、既存のMLLMはモダリティを交換可能な入力として扱い、補完的な監督の源として活用できていません。

本研究では、Sonyの研究者らが提案する新しいフレームワーク「Mixture of Probes（MoP）」を紹介します。MoPは、MLLM内でモダリティ固有の信号とモダリティ一般の信号を分離し、モデルがモダリティ依存の構造を維持しながら、モダリティ間で転移可能な表現を学習することを可能にします。その核心は、共有モダリティエンコーダの中間表現から情報を抽出・整理する構造化プロービング機構であり、既存のMLLMのように最終層のアライメントのみに依存しません。この分離を支援するために、プローブ崩壊を防ぎクロスモーダル学習を促進するプローブ分離損失を中心としたMoPクロスモーダル訓練（MoP-X）戦略も導入します。

MoPは、2つのドメインにわたる8つのタスクと4つのモダリティで、特権モダリティ設定に特化した包括的な評価プロトコル（各モダリティが推論時に唯一の入力として独立に扱われる）の下で評価されました。使用されたモダリティには、RGB、深度、赤外線、熱画像などが含まれます。MoPは強力なMLLMベースラインを一貫して上回り、最大65%の相対的改善を達成しました。例えば、ビデオ分類や行動認識タスクにおいて顕著な性能向上を示しました。これは、補助モダリティが推論時に利用できなくても、訓練中に効果的に活用されれば大きな利得をもたらすことを示しています。

本論文は、Dominick Reilly、Qiyu Wu、Hiromi Wakaki、Srijan Das、Yuki Mitsufujiによって執筆され、2026年7月9日にプレプリントとしてarXivに提出されました。MoPフレームワークのコード、モデルチェックポイント、評価プロトコルは、GitHubリポジトリ（https://github.com/Sony/MoP）で公開され、研究コミュニティによる再現とさらなる探求が可能となります。