探针混合：通过探针从多模态大语言模型中的特权模态学习
本文提出了一种名为探针混合（MoP）的新框架，旨在解决多模态大语言模型（MLLMs）在特权模态设置下的学习问题。该框架通过结构化的探针机制从共享模态编码器的中间表示中提取信息，并引入MoP跨模态训练（MoP-X）策略，有效分离模态特定和模态通用信号。实验表明，MoP在八个任务和四种模态上比强基线模型提升高达65%。
多模态大语言模型（MLLMs）通常假设在训练时使用的所有模态在推理时仍然可用。然而，许多实际场景违反了这一假设，要求模型在特权模态设置下运行，即辅助模态仅在训练期间可用。例如，在自动驾驶或医疗影像中，某些传感器或成像模态可能在训练时存在，但在部署时缺失。这些辅助模态虽然包含宝贵的信息，但现有的MLLMs大多未能有效利用它们，因为它们将模态视为可互换的输入，而非互补监督的来源。
针对这一问题，来自Sony的研究人员提出了探针混合（MoP）框架。该框架的核心是一种结构化的探针机制，从共享模态编码器的中间表示中提取并组织信息，而不是像现有MLLMs那样仅依赖最终层的对齐。通过这种方式，MoP能够分离模态特定的信号和模态通用的信号，从而保留模态依赖的结构，同时学习跨模态的可迁移表示。为了支持这种解耦，他们还引入了MoP跨模态训练（MoP-X）策略，其核心是探针解耦损失，该损失函数防止探针坍缩并鼓励跨模态学习。
研究团队在跨两个领域的八个任务和四种模态上评估了MoP，采用了专门为特权模态设置设计的综合评价协议——每种模态在推理时独立作为唯一输入。实验中使用的模态包括RGB、深度、红外和热成像等。MoP始终优于强大的MLLM基线，实现了高达65%的相对改进。例如，在视频分类和动作识别任务上，MoP显著提升了性能。这表明，即使辅助模态在推理时不可用，只要在训练中有效利用，也能带来显著的性能提升。
该论文由Dominick Reilly、Qiyu Wu、Hiromi Wakaki、Srijan Das和Yuki Mitsufuji撰写，作为预印本于2026年7月9日提交至arXiv。MoP框架的代码、模型检查点和评估协议将在GitHub上公开发布，代码仓库地址为https://github.com/Sony/MoP，以便研究社区复现和进一步探索。