多模态情感分析（MSA）的目标是融合文本、视频和音频等多种信号来预测人的情感倾向。然而，原始多模态序列往往存在语义不一致问题：同一模态内部可能出现冗余信息，不同模态之间也可能出现语义冲突。这种不一致不仅会干扰模型对情感的正确理解，还会显著增加计算开销。针对这一问题，arXiv 上最新收录的论文 ConsMSA 提出了一种以语义分布一致性为核心的学习框架，该工作已被 ICML 2026 接收，作者为 Pan Wang 等八人。
ConsMSA 的核心思路是将一致性从一种隐式约束提升为显式的建模对象。具体而言，模型首先把来自不同模态的 token 特征投影到一个共享的情感空间中，并在此基础上计算“模态内与模态间一致性评分”（Intra- and Inter-modality Consistency Score，简称 I²CS）。该评分同时刻画了单个模态内部 token 之间以及不同模态 token 之间的语义分布一致程度，从而为后续处理提供统一的量化依据。
得到一致性评分后，ConsMSA 将其与预测相关性进行耦合，形成一致性感知的重要性信号，并在三个层面加以利用。第一，作为一致性正则项，在训练过程中对齐潜在分布，使模型学到更稳定的情感表示。第二，据此推导语义感知权重，对多模态 token 进行自适应重加权，让更可靠、更一致的 token 获得更高关注。第三，将一致性评分作为实用准则，直接剪除冗余或相互冲突的 token，从输入端降低计算负担。
实验部分在三个广泛使用的多模态情感分析基准上进行：CMU-MOSI、CMU-MOSEI 和 CH-SIMS。结果表明，ConsMSA 在这些数据集上均达到当前最优性能，同时在激进的 token 压缩条件下仍保持鲁棒。尤为突出的是，即使仅保留 10% 的 token，模型仍能取得与完整输入相当的准确率，说明一致性信号能够有效识别并保留真正承载情感信息的关键 token。
论文作者认为，这些结果确立了语义分布一致性作为兼顾预测鲁棒性与计算效率的一个重要基础。该工作属于机器学习与多媒体交叉方向，论文编号为 arXiv:2610.31731v1，提交于 2026 年 10 月 22 日，全文约 2.4MB，提供 PDF、实验性 HTML 及 TeX 源码等多种访问形式。