Yifeng LiuとQuanquan Guによる論文「Unlocking Feature Learning in Gated Delta Networks at Scale」は、2026年6月2日にarXiv（arXiv:2606.04048v1）に投稿され、機械学習（cs.LG）と人工知能（cs.AI）の分野に属する。本研究は、大規模言語モデルの訓練とスケーリングに伴う膨大な計算資源の需要に対処するため、効率的な準二次アーキテクチャと原理的なハイパーパラメータ調整法の両面からアプローチしている。
近年、Maximal Update Parametrization（μP）は標準Transformerに対してゼロショットのハイパーパラメータ転移を可能にし、小規模モデルで調整したハイパーパラメータを大規模モデルに直接適用できるようにした。しかし、線形モデル、特に構造化された状態遷移や複雑なアーキテクチャを持つモデルへのμPの拡張はほとんど未探索のままであった。Gated Delta Networkは、ゲート機構と再帰状態ダイナミクスを備えた新興の線形再帰アーキテクチャであり、座標スケールの伝播が複雑になるため、適切なスケーリング理論が欠如していた。
この空白を埋めるため、著者らはフォワードパス、ゲーティング機構、および再帰状態ダイナミクスを通じて座標サイズ推定を厳密に伝播させることにより、Gated Delta Networkのスケーリング則を初めて導出した。これらの規則は、パラメータ初期化や学習率などのハイパーパラメータがモデル幅の変化に応じてどのように調整されるべきかを明らかにし、特徴学習の安定性を維持する。
理論分析の正確性と実用性を検証するため、研究チームは言語モデルの事前学習タスクで実験を行った。結果は、導出された設定に従うモデルがAdamWとSGDの両方のオプティマイザの下で、モデル幅を超えた学習率の安定した転移を実現することを示した。つまり、小さい幅で調整された学習率が、性能を損なうことなく大きい幅のモデルに直接使用できる。対照的に、標準パラメータ化（標準初期化など）を用いたモデルではこのような転移が実現せず、学習率を各幅ごとに個別に調整する必要がある。この比較は、著者の分析の正確性を強く支持している。
本研究の意義は、μPの理論的枠組みをゲート機構と再帰状態ダイナミクスを持つ線形アーキテクチャにまで拡張し、Gated Delta Networkや類似構造の大規模訓練に実用的なハイパーパラメータ転移スキームを提供することにある。これにより、大規模なハイパーパラメータ調整の計算コストが削減されるだけでなく、将来の効率的アーキテクチャのスケーラブルな展開のための理論的基盤が築かれる。論文全文はarXivで入手可能であり、詳細な導出と実験設定が含まれている。