多模態情感分析（MSA）的目標是融合文本、影片和音訊等多種訊號來預測人的情感傾向。然而，原始多模態序列往往存在語義不一致問題：同一模態內部可能出現冗餘資訊，不同模態之間也可能出現語義衝突。這種不一致不僅會干擾模型對情感的正確理解，還會顯著增加計算開銷。針對這一問題，arXiv 上最新收錄的論文 ConsMSA 提出了一種以語義分佈一致性為核心的學習框架，該工作已被 ICML 2026 接收，作者為 Pan Wang 等八人。
ConsMSA 的核心思路是將一致性從一種隱式約束提升為顯式的建模物件。具體而言，模型首先把來自不同模態的 token 特徵投影到一個共享的情感空間中，並在此基礎上計算“模態內與模態間一致性評分”（Intra- and Inter-modality Consistency Score，簡稱 I²CS）。該評分同時刻畫了單個模態內部 token 之間以及不同模態 token 之間的語義分佈一致程度，從而為後續處理提供統一的量化依據。
得到一致性評分後，ConsMSA 將其與預測相關性進行耦合，形成一致性感知的重要性訊號，並在三個層面加以利用。第一，作為一致性正則項，在訓練過程中對齊潛在分佈，使模型學到更穩定的情感表示。第二，據此推導語義感知權重，對多模態 token 進行自適應重加權，讓更可靠、更一致的 token 獲得更高關注。第三，將一致性評分作為實用準則，直接剪除冗餘或相互衝突的 token，從輸入端降低計算負擔。
實驗部分在三個廣泛使用的多模態情感分析基準上進行：CMU-MOSI、CMU-MOSEI 和 CH-SIMS。結果表明，ConsMSA 在這些資料集上均達到當前最優效能，同時在激進的 token 壓縮條件下仍保持魯棒。尤為突出的是，即使僅保留 10% 的 token，模型仍能取得與完整輸入相當的準確率，說明一致性訊號能夠有效識別並保留真正承載情感資訊的關鍵 token。
論文作者認為，這些結果確立了語義分佈一致性作為兼顧預測魯棒性與計算效率的一個重要基礎。該工作屬於機器學習與多媒體交叉方向，論文編號為 arXiv:2610.31731v1，提交於 2026 年 10 月 22 日，全文約 2.4MB，提供 PDF、實驗性 HTML 及 TeX 原始碼等多種訪問形式。