通过蒸馏和生成多语言转录的跨模态整合实现音频情感分析

近年来，音频情感分析成为人工智能领域的研究热点，其目标是从语音中自动识别正面或负面情感。然而，这一任务极具挑战性，因为它既需要分析声音的抑扬顿挫，也需要理解所说话语的语义。现有的音频基础模型虽然取得了一定进展，但它们能否同时兼顾上述两个方面仍不明确。

为了突破这一瓶颈，来自布加勒斯特大学的研究团队提出了一种创新的多模态解决方案。该方法首先利用自动语音识别（ASR）工具将语音转换为文本转录，随后借助机器翻译工具将转录翻译成多种语言，从而生成多个文本模态。这些多语言文本特征与原始音频特征通过一个级联的跨模态变压器架构进行逐步整合，该架构由多个跨模态变压器模块组成，按顺序融合不同的模态信息。这种级联设计避免了直接拼接高维特征的困难，并且能够充分利用不同语言文本中的互补语义信息。

研究的一大亮点是引入了知识蒸馏技术。他们将训练好的多模态模型作为教师模型，将知识蒸馏到一个仅基于音频的模型（学生模型）中。实验结果表明，即使在推理阶段只使用音频输入，学生模型也能获得显著的性能提升，且不会增加任何计算开销。这意味着在实际部署中，可以仅使用轻量级的音频模型而获得接近多模态模型的性能，从而降低推理成本。

在大型数据集上的广泛实验验证了该方法的有效性。自动生成的文本信息显著提升了多模态情感极性分类的准确性。消融研究进一步证实，无论是自动生成的转录还是自动翻译，都对性能有正面贡献。此外，蒸馏后的音频模型在仅使用音频的情况下，性能也可与多模态模型相媲美。研究还发现，多语言文本的引入比单一语言文本带来更大的提升，表明跨语言信息有助于更全面地理解情感内容。

该研究已被KES 2026会议接收，论文代码已在GitHub上公开，以便其他研究者复现结果。这一工作为音频情感分析提供了一条高效且实用的新路径，尤其适用于那些无法获取文本标注但需要高精度情感分析的场景，例如实时语音情感识别或资源受限的移动设备。