多模态学习长期面临一个核心难题：模态失衡。当模型同时处理文本、图像、音频等多种输入时，收敛更快的模态往往主导优化过程，而其他模态则训练不足，最终拖累整体性能。来自 arXiv 的最新论文《Balancing Multimodal Learning through Label Space Reshaping》针对这一现象提出了新的解释与解决方案。该论文由 Xiaoyu Ma 等六位作者完成，于 2026 年 5 月 22 日提交至 arXiv（编号 2605.28869v1），归类为机器学习（cs.LG）与人工智能（cs.AI），目前处于审稿流程中。
作者指出，现有方法大多通过强化弱模态或调整优化梯度来缓解失衡，但这些策略本质上只是在弥补优化速率的差异，而且往往以牺牲强模态的优化能力为代价。更关键的是，它们并未深入分析各模态之间学习速率差异究竟从何而来。论文基于理论洞察与实证观察提出一个核心观点：学习节奏的差异源于各模态特有特征空间向共享标签空间映射时的难度不同。换言之，有些模态更容易把自身特征对应到标签上，因而收敛更快；另一些模态的映射则更困难，导致训练滞后。
基于这一分析，研究团队提出了平衡多模态标签重塑方法（Balanced Multimodal Label Reshaping，简称 BMLR）。这是首个从标签侧设计入手促进多模态平衡的方法。BMLR 通过重塑跨模态标签空间，使各模态的映射难度趋于一致，从而促进模态间的交互，并为每个模态注入更丰富的类间信息。与以往从优化角度补偿的方法不同，BMLR 直击失衡的根源，而不是单纯压低强模态的学习速度。
在实验方面，论文在多种模型架构上进行了广泛测试，结果显示 BMLR 能够持续提升多模态性能，并且与多种模型设计保持良好的兼容性。这表明该方法并非绑定于特定网络结构，具有较强的通用性。作者表示，源代码将很快公开。
从研究意义上看，BMLR 为多模态平衡问题提供了一个新的切入点：将注意力从梯度与优化策略转向标签空间的设计。这一思路可能启发后续研究在数据表示与监督信号层面进一步探索模态协同训练的可能性。随着多模态模型在视觉问答、跨模态检索等任务中的广泛应用，如何让各模态均衡发展、避免单一模态主导，仍是值得持续关注的方向。