オン方針蒸留の解明：どこで役立ち、どこで害になり、その理由
オン方針蒸留は推論モデルの訓練に密集したトークンレベルの監視を提供するが、その有効性は条件によって異なる。本研究では、訓練不要な診断フレームワークを導入し、蒸留信号と理想勾配の一致度をトークンレベルで定量化する。結果、蒸留指導は誤ったロールアウトにおいて正しいものよりも高い一致を示し、最適な蒸留コンテキストは学生モデルの容量とタスクに依存し、普遍的な最適構成は存在しない。
Apple機械学習研究チームは、論文「オン方針蒸留の解明：どこで役立ち、どこで害になり、その理由」を発表し、推論モデルの訓練におけるオン方針蒸留のメカニズムを深く掘り下げました。この論文は2026年7月に公開され、Mohammadreza Armandpour氏、Fatih Ilhan氏、David Harrison氏ら複数の研究者によって執筆されました。オン方針蒸留は、トークンレベルの密な監視信号を提供することで学生モデルを訓練しますが、どのような条件下でこの信号が有益で、どのような条件下で有害であるかはこれまで明らかではありませんでした。従来の研究は高コストな訓練実行に依存し、集約された性能指標を用いて分析していたため、個々のトークン単位のダイナミクスが隠されていました。
この問題に対処するため、研究チームは訓練不要の診断フレームワークを導入し、トークン単位、質問単位、教師単位という最高解像度で蒸留プロセスを分析できるようにしました。彼らは、学生モデルの成功確率を最大限に高めるパラメータ更新として定義される理想的なノード単位勾配を導出しました。その上で、長い中間思考の連鎖に対しても効率的にこの勾配を推定できる、スケーラブルなターゲットロールアウトアルゴリズムを開発しました。勾配一致スコア（理想勾配と任意の蒸留勾配とのコサイン類似度）は、特定の構成が理想信号にどれだけ近いかを定量化します。
自己蒸留設定と外部教師モデルを用いた一連の実験を通じて、研究者らは重要な発見をしました。蒸留指導は、誤ったロールアウトにおいて理想勾配と非常に高い一致を示す一方、正しいロールアウトでは、学生モデルがすでに良好に機能しているため、教師の信号がノイズになりやすいことがわかりました。さらに、最適な蒸留コンテキストは学生モデルの容量と対象タスクに依存し、普遍的に有効な単一の構成は存在しないことも明らかになりました。これらの発見は、タスクごと、トークンごとの診断分析の重要性を強調し、将来のより効率的な蒸留戦略の設計に理論的指針を提供します。研究者は、このフレームワークが様々な規模やアーキテクチャのモデルに適用可能であり、実践者が実際の展開前に蒸留構成の良し悪しを迅速に評価し、高価な試行錯誤のコストを回避するのに役立つと述べています。