多目標學習（MOL）旨在同時最佳化多個目標函式，這在多工學習、強化學習等領域具有廣泛應用。多重梯度下降法（MGDA）是解決該問題的經典演算法，它透過迭代更新一個公共下降方向或衝突避免（CA）方向來平衡不同目標間的梯度衝突。然而，在實際的隨機最佳化場景中，由於小批次取樣引入的梯度噪聲，標準的隨機MGDA（SMG）方法收斂速度較慢。其根本原因在於，梯度噪聲導致更新方向產生偏差，而這與CA方向的連續性密切相關。
本文作者深入分析了CA方向的數學性質，首次嚴格證明CA方向相對於雅可比矩陣是1/2-赫爾德連續的，並且這一指數在一般情況下是最優的、無法改進。這一發現揭示了SMG收斂速度不理想的內在原因。更重要的是，作者發現當子問題滿足一定的正則性條件時，CA方向可以改進為Lipschitz連續，從而允許更快的收斂。基於這一理論洞察，他們提出了隨機多目標正則感知（MoRe）方法。
MoRe演算法的核心思想是自適應地選擇更新策略：當梯度衝突較大時（即CA方向為正則時），利用CA方向的Lipschitz連續性進行高效更新；當衝突較小時，則切換至固定的線性標量化權重更新。這種設計既保證了在大沖突場景下的穩定性，又避免了不必要的計算開銷。理論分析表明，在非凸環境下，MoRe將收斂率從SMG的O(T^{-1/4})提升至O(T^{-1/2})（忽略對數因子），同時每步都保持衝突避免保證。
實驗部分在多個多工學習基準上驗證了MoRe的有效性。結果顯示，MoRe不僅在收斂速度上顯著優於現有方法，而且在多工效能上也取得了更好的表現。收斂行為與理論分析高度一致，進一步證實了方法的可靠性。該工作為隨機多目標最佳化提供了新的理論視角和實用演算法，對機器學習最佳化領域具有重要參考價值。