マルチモーダル感情分析（MSA）は、テキスト、映像、音声といった複数のモダリティからの信号を統合して人間の感情を予測することを目的とする。しかし、生のマルチモーダル系列には意味的な不一致がしばしば存在する。すなわち、同一モダリティ内での冗長性や、モダリティ間での意味的な衝突が生じやすく、これが頑健な理解を妨げ、計算コストを増大させる。この課題に対し、arXivに新たに公開された論文ConsMSAは、意味分布の一貫性を学習の中心に据えた枠組みを提案している。本論文はICML 2026に採択されており、著者はPan Wang氏ら8名である。
ConsMSAの中心的なアイデアは、一貫性を暗黙の制約として扱うのではなく、明示的なモデリング対象として定式化することにある。具体的には、異なるモダリティから得られたトークン特徴を共有の感情空間に射影し、その上で「モダリティ内・モダリティ間一貫性スコア」（Intra- and Inter-modality Consistency Score、I²CS）を計算する。このスコアは、単一モダリティ内のトークン間だけでなく、異なるモダリティのトークン間の意味分布の一致度も同時に捉えるため、後続の処理に統一的な定量指標を提供する。
一貫性スコアを得た後、ConsMSAはそれを予測関連性と結合し、一貫性を考慮した重要度信号を形成する。この信号は三つの側面で活用される。第一に、学習中に潜在分布を整列させる一貫性正則化項として機能し、より安定した感情表現の獲得を促す。第二に、意味を考慮した重みを導出し、マルチモーダルトークンを適応的に再重み付けすることで、より信頼性が高く一貫したトークンに大きな注意を向ける。第三に、一貫性スコアを実用的な基準として用い、冗長または衝突するトークンを直接枝刈りすることで、入力段階から計算負荷を低減する。
実験は、広く利用されている三つのマルチモーダル感情分析ベンチマークであるCMU-MOSI、CMU-MOSEI、CH-SIMSで実施された。結果として、ConsMSAはこれらのデータセットで最先端の性能を達成しつつ、積極的なトークン圧縮条件下でもロバスト性を維持することが示された。特に注目すべきは、トークンをわずか10%しか残さない場合でも、完全な入力を用いた場合と同等の精度が得られる点である。これは、一貫性信号が感情情報を実際に担う重要なトークンを効果的に識別し、保持できることを示している。
著者らは、これらの結果が予測のロバスト性と計算効率を両立させるための有望な基盤として、意味分布の一貫性を位置づけている。本論文は機械学習とマルチメディアの学際領域に属し、論文番号はarXiv:2610.31731v1、2026年10月22日に投稿された。本文は約2.4MBで、PDF、実験的なHTML版、TeXソースなど複数の形式でアクセスできる。