多目标学习（MOL）旨在同时优化多个目标函数，这在多任务学习、强化学习等领域具有广泛应用。多重梯度下降法（MGDA）是解决该问题的经典算法，它通过迭代更新一个公共下降方向或冲突避免（CA）方向来平衡不同目标间的梯度冲突。然而，在实际的随机优化场景中，由于小批量采样引入的梯度噪声，标准的随机MGDA（SMG）方法收敛速度较慢。其根本原因在于，梯度噪声导致更新方向产生偏差，而这与CA方向的连续性密切相关。
本文作者深入分析了CA方向的数学性质，首次严格证明CA方向相对于雅可比矩阵是1/2-赫尔德连续的，并且这一指数在一般情况下是最优的、无法改进。这一发现揭示了SMG收敛速度不理想的内在原因。更重要的是，作者发现当子问题满足一定的正则性条件时，CA方向可以改进为Lipschitz连续，从而允许更快的收敛。基于这一理论洞察，他们提出了随机多目标正则感知（MoRe）方法。
MoRe算法的核心思想是自适应地选择更新策略：当梯度冲突较大时（即CA方向为正则时），利用CA方向的Lipschitz连续性进行高效更新；当冲突较小时，则切换至固定的线性标量化权重更新。这种设计既保证了在大冲突场景下的稳定性，又避免了不必要的计算开销。理论分析表明，在非凸环境下，MoRe将收敛率从SMG的O(T^{-1/4})提升至O(T^{-1/2})（忽略对数因子），同时每步都保持冲突避免保证。
实验部分在多个多任务学习基准上验证了MoRe的有效性。结果显示，MoRe不仅在收敛速度上显著优于现有方法，而且在多任务性能上也取得了更好的表现。收敛行为与理论分析高度一致，进一步证实了方法的可靠性。该工作为随机多目标优化提供了新的理论视角和实用算法，对机器学习优化领域具有重要参考价值。