トレーニングの動力学：言語モデルにおける創発、可塑性喪失、回路制御の駆動核形成速度則

arXivに提出された新しい論文（番号2607.27281、著者Lei Dong）は、言語モデルの能力創発が回路部品の「部分点なし」の連携アラインメントによって決まると主張する。最後の部品が一度の確率的試行で揃って初めて能力が現れ、あと一つだけ正しくても無価値である。この連携が能力形成の律速段階だという。論文は2026年7月29日提出、全40ページ・図12点。

この主張を検証するため、ショートカットのない実験装置を用意した。5部品回路で3部品が欠けている場合と、3部品回路で3部品が欠けている場合の待ち時間はほぼ同じ（1.19〜1.37倍）であり、待ち時間は回路の大きさではなく欠けた部品の数に依存する。Pythiaモデルでは、7つの能力・3つのスケールにわたり、32/32の識別セルで1つの部品をアブレーションすると能力の中央値は17%しか残らない。部分点仮説なら50〜83%が予測される（p = 2e-10）。ランダムな非該当ヘッドでは100%残る。

この過程は、サイト×試行回数×駆動力×exp(−βK)−破壊項という速度式で定式化され、障壁Kは欠損部品数に応じて大きくなる。この式は3通りの方法で事前登録済みの凍結定数を用いて検証された。順方向の予測では、混合が濃度の下限値を超えると（上回る条件で10/10点火、下回る条件で0/12）それまで平坦だった能力が指定したステップで点火する。さらに、まだ平坦に見える段階でも前駆体から到着時刻を予測でき、6つのホールドアウトモデルで中央値誤差5%を達成した。逆方向の予測では、保留した能力の学習を遅らせるほど遅延コストが増大し、臨界ステップを過ぎると二度と点火しない。しかし検証損失は滑らかに下がり続けるため、標準的なモニタリングでは検出できない。研究者は損傷の位置も特定した。ヘッドがベースデータにコミットしてしまうのである。治療法はquery-keyスライスの再初期化で、6/6のモデルで学習可能性が回復した。valueスライスのリセットだけでは効果がなかった（0/6）。

制御されたゲート付き注意力モデルで、占有（occupation）が締め切りを強制し、その帰結に混合仮定が不要であることを証明した。さらに、SGDのノイズはゆらぎ・散逸テストを満たさないことが分かったため、独自のノイズを導入し、計画どおりに回路をアニーリング・融解・固定できることを示した。対象は最大1.4BパラメータのTransformerにおける連言回路である。