统一多模态模型（UMMs）作为一种新兴范式，旨在将多模态理解与生成能力集成到单个自回归Transformer中。然而，在多模态指令调优过程中，这类模型常表现出明显的模态不平衡：语言梯度主导优化过程，导致图像生成质量下降，在LoRA等参数高效微调方法下尤为突出。
来自Xiwen Wei等四位作者的研究论文《Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration》对LoRA微调UMMs用于交错文本-图像生成时的模态不平衡进行了系统分析。研究表明，与单模态对应模型相比，视觉模态的性能退化程度远大于文本模态；在不同任务和网络层中，模态特定梯度的差异可达数个数量级。这一观察揭示了现有微调方法在平衡多模态目标方面的不足。
受此启发，作者将多模态指令调优重新表述为双目标优化问题，并提出Pareto LoRA——一种帕累托最优的梯度集成策略。该方法通过调制梯度的方向和强度，在文本与图像两个目标之间实现平衡。具体而言，Pareto LoRA在优化过程中动态调整两个模态的梯度贡献，避免任一模态主导训练，从而促进更均衡的多模态生成能力。
实验在CoMM基准上使用Emu2模型进行验证。结果表明，Pareto LoRA持续改善多模态生成的平衡性，相比原始LoRA在感知图像质量上取得最高44.9%的提升，同时文本性能保持相当水平。该工作为统一多模态模型的高效微调提供了新的思路，强调了梯度层面模态平衡的重要性。
论文提交于2026年6月15日，属于计算机视觉与模式识别（cs.CV）领域，arXiv编号2606.17296。研究团队包括Xiwen Wei等四名作者。该方法的提出有望推动多模态生成模型在参数高效微调场景下的实际应用，尤其是在需要同时处理文本和图像任务的交错生成场景中。