多目的学習(MOL)は複数の目的関数を同時に最適化することを目指し、マルチタスク学習や強化学習など幅広い分野で応用されている。多勾配降下法(MGDA)はこの問題に対する代表的なアルゴリズムであり、目的間の共通降下方向または衝突回避(CA)方向に沿って反復更新を行う。しかし、確率的設定では、ミニバッチサンプリングによる勾配ノイズのために、標準的な確率MGDA(SMG)の収束速度は遅い。その原因は、ノイズが更新方向にバイアスをもたらすことであり、これはCA方向の連続性に依存する。
本論文ではまず、CA方向がヤコビ行列に対して1/2-ヘルダー連続であることを示し、この指数が最悪の場合改善不可能であることを証明した。この結果は、従来のSMGの収束率が最適でない理由を説明する。さらに、追加の正則条件の下でCA方向がリプシッツ連続になることを示し、この知見に基づいて確率的多目的正則性認識(MoRe)法を提案した。
MoReの核心的なアイデアは、勾配の衝突が大きい場合にはCA方向更新を用い、衝突が小さい場合には線形スカラー化更新に切り替えることである。具体的には、部分問題が正則な場合にはCA方向のリプシッツ連続性を活用して効率的に更新し、そうでない場合には固定のスカラー化重みを使用する。理論解析により、非凸設定での収束率がSMGのO(T^{-1/4})からO(T^{-1/2})(対数因子を除く)に改善され、各反復での衝突回避も保証される。
実験では、複数のマルチタスク学習ベンチマークでMoReの有効性を確認した。収束速度とマルチタスク性能の両方で既存手法を上回り、理論と一致した収束挙動を示した。本研究は、確率的多目的最適化に新たな理論的視点と実用的なアルゴリズムを提供し、機械学習の最適化分野に重要な貢献をもたらす。