結合勾配降下法は、二段階最適化、二時間尺度確率近似、敵対的訓練などで広く用いられている。このアルゴリズムでは、あるパラメータブロックの更新が別のブロックに依存し、結合ヤコビアンはブロック三角構造を持つ。漸近安定性は対角ブロックのスペクトル半径で決まるが、非正規性により収束前の過渡増幅は任意に大きくなり得る。従来のスペクトル半径解析ではこの現象を捉えられない。なぜなら、非正規行列のスペクトル半径は長期挙動のみを記述し、短期間の大きな変動を予測できないからである。本論文はこの課題に対して、ブロック三角ヤコビアンに対する鋭い疑似スペクトル理論を展開する。
著者らは、対角ブロックが対称でスペクトル半径がγ<1以下の場合、クライス定数がK(J) ≤ 2/(1-γ) + ‖C‖/(4(1-γ))を満たすことを証明し、一致するミニマックス下界を与えた。この結果は過渡増幅の最悪ケースを特徴づけ、結合降下のダイナミクス理解に重要な道具を提供する。クライス定数は行列の非正規性を測る重要な指標であり、有限ステップで達成され得る最大増幅率を直接決定する。この境界を用いることで、研究者は収束前に生じる過渡増幅の大きさを正確に見積もり、より安定な最適化手法を設計できる。
さらに、スペクトル不安定性の臨界結合しきい値を特定し、ノイマン級数摂動フレームワークを用いて準自己参照システムへ解析を拡張した。この拡張により、メタ学習や強化学習で見られるより一般的な結合構造に理論を適用できる。応用として、確率的結合降下の有限時間反復複雑性境界O(K(J)^2 log(1/δ))を得た。これは過渡増幅がアルゴリズムの収束速度に直接影響することを示す。具体的には、反復複雑性はクライス定数の二乗に比例し、非正規性が強いほど多くの反復が必要となる。
この理論は非定常二時間尺度最適化のスケーリング則として位置づけられ、スペクトル半径解析では見えない非漸近的でインスタンス依存の高次元学習ダイナミクス領域を明らかにする。従来のスペクトル半径解析は漸近収束率しか与えず、有限時間の複雑な挙動を捉えられない。本論文の疑似スペクトル手法はこの中間段階を正確に記述し、深層学習における多くの直感に反する現象の理解に理論的基盤を提供する。線形二次問題、IQC比較、ニューラルネットワーク訓練における実験結果は理論とよく一致しており、本手法の有効性をさらに裏付けている。