Transformerのように反復的なアーキテクチャブロックを持つ深層ニューラルネットワークでは、訓練中に層をまたぐ構造的な関係がしばしば自然に現れる。この観察に基づき、Haoming Mengらによる論文は「深さ方向勾配拡張」と呼ばれる一般的な最適化パラダイムを提案する。このパラダイムでは、各層のオプティマイザ更新を個別に扱うのではなく、すべてのブロック単位のオプティマイザ更新を深さ方向に沿った集合として捉え、それを変換した結果を各層の最終的な更新として適用する。これにより、最適化は層ごとの独立処理から層をまたぐ協調処理へと拡張され、深さ方向の構造情報を活用するための統一的な枠組みが提供される。
この枠組みの下で、著者らは「勾配スムージング」と呼ばれる一連の深さ方向平滑化手法を研究し、単純な局所「ウィンドウ平滑化」演算子を用いて実装する。具体的には、勾配スムージングは任意の基本オプティマイザ（SGD、Adam、Muonなど）が生成するブロック更新に直接作用し、深さ次元に沿ってスライディングウィンドウ平滑化を適用することで隣接層の更新を結合する。この手法はモデルアーキテクチャや訓練目的を変更せず、計算オーバーヘッドが極めて小さく、既存の最適化パイプラインと互換性があるため、既存の訓練フローに容易に統合できる。
手法の有効性を検証するため、著者らは多様なアーキテクチャと訓練シナリオで評価を行った。具体的には、言語モデルの事前学習、推論のための大規模言語モデルの強化学習後訓練、拡散モデリング、視覚Transformerを用いた画像分類が含まれる。これらの設定において、勾配スムージングはモデル構造や訓練目的を一切変更することなく、最適化プロセスと汎化性能を一貫して改善した。これは本手法の広い適用性と汎用性を示している。
さらに分析により、勾配スムージングが深さ方向における表現のより構造化された進化を促進することが示され、これは構造化された深さ方向の前処理手法としての解釈と一致する。著者らはこれらの結果が、最適化において深さ方向の構造を活用するための有望な枠組みとして深さ方向勾配拡張を確立し、勾配スムージングがその単純かつ広く適用可能な実装であることを示すと結論付けている。本論文は第43回国際機械学習会議（ICML 2026）に採択され、2026年6月29日にarXivに投稿された。機械学習（cs.LG）および人工知能（cs.AI）分野に属する。