本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

正則性を考慮した確率的MGDA:適応的衝突回避更新方向制御

記事の要約

本論文は、確率的多目的正則性認識(MoRe)手法を提案し、部分問題が正則である場合に衝突回避方向のリプシッツ連続性を活用することで、非凸設定における収束率をO(T^{-1/4})からO(T^{-1/2})に改善し、各反復での衝突回避保証を提供する。

ソースarXiv Machine Learning著者: Chentong Huang, Lisha Chen
正則性を考慮した確率的MGDA:適応的衝突回避更新方向制御
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

多目的学習(MOL)は複数の目的関数を同時に最適化することを目指し、マルチタスク学習や強化学習など幅広い分野で応用されている。多勾配降下法(MGDA)はこの問題に対する代表的なアルゴリズムであり、目的間の共通降下方向または衝突回避(CA)方向に沿って反復更新を行う。しかし、確率的設定では、ミニバッチサンプリングによる勾配ノイズのために、標準的な確率MGDA(SMG)の収束速度は遅い。その原因は、ノイズが更新方向にバイアスをもたらすことであり、これはCA方向の連続性に依存する。

本論文ではまず、CA方向がヤコビ行列に対して1/2-ヘルダー連続であることを示し、この指数が最悪の場合改善不可能であることを証明した。この結果は、従来のSMGの収束率が最適でない理由を説明する。さらに、追加の正則条件の下でCA方向がリプシッツ連続になることを示し、この知見に基づいて確率的多目的正則性認識(MoRe)法を提案した。

MoReの核心的なアイデアは、勾配の衝突が大きい場合にはCA方向更新を用い、衝突が小さい場合には線形スカラー化更新に切り替えることである。具体的には、部分問題が正則な場合にはCA方向のリプシッツ連続性を活用して効率的に更新し、そうでない場合には固定のスカラー化重みを使用する。理論解析により、非凸設定での収束率がSMGのO(T^{-1/4})からO(T^{-1/2})(対数因子を除く)に改善され、各反復での衝突回避も保証される。

実験では、複数のマルチタスク学習ベンチマークでMoReの有効性を確認した。収束速度とマルチタスク性能の両方で既存手法を上回り、理論と一致した収束挙動を示した。本研究は、確率的多目的最適化に新たな理論的視点と実用的なアルゴリズムを提供し、機械学習の最適化分野に重要な貢献をもたらす。

要点と分析を開く

記事インテリジェンス

研究者上級

要点

  • 衝突回避方向が1/2-ヘルダー連続であり、その指数が最悪の場合最適であることを証明
  • 正則条件下でリプシッツ連続性が得られ、MoReを提案
  • 収束率をO(T^{-1/2})に改善し、各反復での衝突回避を保証

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。