多模態學習在人工智能領域應用廣泛，但常遭遇模態不平衡問題。某些模態由於收斂速度較快，在訓練過程中主導了優化進程，而其他模態則得不到充分訓練。現有的緩解策略通常聚焦於增強弱勢模態或調整梯度，但這些方法主要補償優化速度的差異，往往以犧牲強勢模態的優化能力為代價，且未深入分析不平衡在模態層面的根源。
最新研究提出了一種名為平衡多模態標籤重塑（Balanced Multimodal Label Reshaping, BMLR）的方法，首次從標籤空間的設計角度出發，試圖解決模態不平衡問題。研究者通過理論分析和實證觀察指出，學習速度的差異主要源於各模態特徵空間到共享標籤空間的映射難度不同。基於此，BMLR重塑跨模態標籤空間，使各模態的映射難度趨於均衡，從而促進模態間的相互作用，併為每個模態注入更豐富的類間信息。
為了驗證BMLR的有效性，研究者在多種模型架構上進行了廣泛實驗。結果表明，BMLR能夠持續提升多模態模型的性能，並與不同設計範式具有良好兼容性。該方法的源代碼預計將很快發佈。這一工作為多模態學習中的不平衡問題提供了全新的解決思路，有望推動相關領域的進一步發展。此外，BMLR的設計理念強調了從標籤側入手緩解模態不平衡的潛力，為未來研究開闢了新方向。實驗涵蓋多種數據集和任務，驗證了其在不同場景下的有效性。研究者還分析了BMLR對模態交互的影響，表明其能有效增強特徵融合質量。