近年來，音頻情感分析成為人工智能領域的研究熱點，其目標是從語音中自動識別正面或負面情感。然而，這一任務極具挑戰性，因為它既需要分析聲音的抑揚頓挫，也需要理解所説話語的語義。現有的音頻基礎模型雖然取得了一定進展，但它們能否同時兼顧上述兩個方面仍不明確。
為了突破這一瓶頸，來自布加勒斯特大學的研究團隊提出了一種創新的多模態解決方案。該方法首先利用自動語音識別（ASR）工具將語音轉換為文本轉錄，隨後藉助機器翻譯工具將轉錄翻譯成多種語言，從而生成多個文本模態。這些多語言文本特徵與原始音頻特徵通過一個級聯的跨模態變壓器架構進行逐步整合，該架構由多個跨模態變壓器模塊組成，按順序融合不同的模態信息。這種級聯設計避免了直接拼接高維特徵的困難，並且能夠充分利用不同語言文本中的互補語義信息。
研究的一大亮點是引入了知識蒸餾技術。他們將訓練好的多模態模型作為教師模型，將知識蒸餾到一個僅基於音頻的模型（學生模型）中。實驗結果表明，即使在推理階段只使用音頻輸入，學生模型也能獲得顯著的性能提升，且不會增加任何計算開銷。這意味着在實際部署中，可以僅使用輕量級的音頻模型而獲得接近多模態模型的性能，從而降低推理成本。
在大型數據集上的廣泛實驗驗證了該方法的有效性。自動生成的文本信息顯著提升了多模態情感極性分類的準確性。消融研究進一步證實，無論是自動生成的轉錄還是自動翻譯，都對性能有正面貢獻。此外，蒸餾後的音頻模型在僅使用音頻的情況下，性能也可與多模態模型相媲美。研究還發現，多語言文本的引入比單一語言文本帶來更大的提升，表明跨語言信息有助於更全面地理解情感內容。
該研究已被KES 2026會議接收，論文代碼已在GitHub上公開，以便其他研究者復現結果。這一工作為音頻情感分析提供了一條高效且實用的新路徑，尤其適用於那些無法獲取文本標註但需要高精度情感分析的場景，例如實時語音情感識別或資源受限的移動設備。