近年、音声からの感情認識（ポジティブ/ネガティブ）はAI分野の重要な課題となっている。このタスクは、音声の抑揚分析と発話内容の解釈の両方を必要とするため、非常に困難である。既存の音声基盤モデルは一定の進歩を見せているが、すべての側面を考慮できているとは言い難い。
そこで、ブカレスト大学の研究チームは、新しいマルチモーダル手法を提案した。この手法では、まず自動音声認識（ASR）ツールで音声をテキストに書き起こし、さらに機械翻訳ツールで複数言語に翻訳することで、複数のテキストモダリティを生成する。これらの多言語テキスト特徴量と元の音声特徴量は、カスケード型のクロスモーダルトランスフォーマーアーキテクチャによって逐次的に統合される。このカスケード設計により、高次元特徴の直接結合の困難さを回避し、異なる言語テキストの補完的意味情報を活用できる。
研究の特徴は、知識蒸留の活用にある。訓練済みのマルチモーダルモデルを教師とし、その知識を音声のみのモデル（生徒）に蒸留する。実験の結果、推論時には音声のみを入力としても、生徒モデルは計算負荷を増やすことなく大幅な性能向上を達成した。これは、実際のデプロイにおいて軽量な音声モデルのみを使用しながらマルチモーダルモデルに近い性能を得られることを意味し、推論コストの削減につながる。
大規模データセットを用いた徹底的な実験により、自動生成されたテキスト情報がマルチモーダル感情極性分類の精度を有意に向上させることが示された。アブレーション研究では、自動書き起こしと自動翻訳の両方が有効であることが確認された。さらに、蒸留後の音声のみのモデルは、マルチモーダルモデルに匹敵する性能を発揮した。研究ではまた、単一言語テキストよりも多言語テキストの導入がより大きな改善をもたらすことが判明し、言語横断的な情報が感情内容のより包括的な理解に寄与することが示された。
本研究成果はKES 2026で発表され、再現性を確保するためコードはGitHubで公開されている。この研究は、特にテキスト注釈が利用できないが高精度な感情分析が求められる場面、例えばリアルタイム音声感情認識やリソース制約のあるモバイルデバイスにおいて、効率的で実用的な新たな道を開くものである。