深層学習の理論研究において、マルチパス深層線形ネットワークは特徴学習とパス特化を調べるための重要なモデルである。最近の解析では、勾配流（Gradient Flow, GF）を用いてネットワークの訓練ダイナミクスを予測し、「勝者総取り」のシナリオ、すなわちパスの対称性が破れて各特徴が単一のパスに集中するという結論が得られていた。しかし、Hee-Sung KimらによるICML 2026の論文「Gradient Descent with Large Step Size Restores Symmetry in Deep Linear Networks with Multi-Pathway」は、離散勾配降下法（Gradient Descent, GD）を大きなステップサイズで用いると、この描像は完全ではないと指摘する。
著者らはまず、単一パス解が鋭い極小（sharp minima）であることを理論的に証明する。一方、信号を複数のパスに分散させると鋭さが低減され、その低減の度合いはパス数とネットワークの深さの両方に依存して増大する。このことは、訓練の初期段階では勾配流が予測する深さ駆動の対称性破れが依然として現れるものの、訓練が進むにつれてEdge of Stabilityでの振動がこの傾向を覆し、ネットワークを再平衡フェーズへと導くことを意味する。再平衡フェーズでは、信号が複数のパスに再分配され、パスの対称性が回復する。
この結果は、勾配流解析と実際の離散最適化との間のギャップを埋めるものであり、大きなステップサイズの勾配降下法がなぜ単一パスの持続的支配ではなく共有表現を好むのかを説明する。さらに、深さがパス間の競争をどのように形作るかについても明らかにする。より深いネットワークでは単一パス解の鋭さへのペナルティが強まるため、振動の作用下で多パス平衡へ移行しやすくなる。本研究は、マルチパスネットワークの訓練ダイナミクスに新たな理論的視座を与えるだけでなく、深層学習における最適化アルゴリズムの選択と表現学習の関係を理解する上でも広い意義を持つ。著者はHee-Sung Kimらであり、論文番号はarXiv:2606.05219、主分類は機械学習（cs.LG）、交叉分類は人工知能（cs.AI）である。