オンライン方策蒸留（On-Policy Distillation、OPD）は、オフライン蒸留や強化学習とは異なる重要な性質を備えている。それは、教師による監督の質が生徒モデルの現在の能力に依存するという点である。生徒が生成するロールアウトが前後の整合性を欠く場合、教師の監督信号はノイズの多い勾配に対応してしまう。逆に、生徒がすでに習得済みのトークンに対しては、監督は冗長な信号となり、計算資源と勾配情報が無駄に消費される。既存の OPD 手法はこうした非効率を考慮せず、すべての位置に均一な監督を適用してきた。
Chia-Hsuan Lee 氏ら7名による論文「SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision」は、この問題に正面から取り組む。著者らは、生徒の能力不足または過剰な成熟に起因する監督の劣化が、トークン単位、訓練段階、プロンプトという3つの異なる尺度で発生していると指摘する。しかし従来手法はこれらを区別せず、同じ強さの監督を課していた。
SEAD の中心的なアイデアは、エントロピーを統一的な「プローブ」として用い、3つの尺度における能力依存の劣化を同時に捉えることにある。第一に、トークンの尺度では、教師モデルと生徒モデルの結合エントロピーを利用してトークンを領域ごとに分割する。ある領域にはその領域向けに調整されたダイバージェンスを与え、別の領域には勾配をゼロにする。著者によれば、これにより約50%のトークンをスキップでき、無駄な計算を大幅に削減できる。第二に、訓練段階の尺度では、コサインスケジュールを採用し、生徒の能力向上に伴って訓練目標を前方 KL ダイバージェンスから後方 KL ダイバージェンスへと徐々にアニーリングする。第三に、プロンプトの尺度では、能力によってゲートされるカリキュラム学習を導入し、易しいプロンプトから難しいプロンプトへと段階的に提示する。
重要なのは、これら3つのコンポーネントが独立したテクニックではなく、相互に依存する共生関係にある点である。著者は、トークン選択の仕組みが一貫したロールアウトを前提とし、その一貫性はカリキュラムによって支えられると説明する。同様に、KL アニーリングは生徒能力の単調な向上を前提とし、これもカリキュラムに依存する。したがって、いずれかの要素が欠けると他のコンポーネントの前提が崩れる。論文ではアブレーション実験により、コンポーネント間に「超加法的」な相互作用があること、すなわち組み合わせによる効果が個別効果の単純な和を上回ることが確認されている。
実験は OLMo-3 シリーズのモデルで行われ、7B から 32B までの規模をカバーしている。6つの数学ベンチマークにおいて、SEAD は標準的な OPD と比較して平均精度を 4.8 ポイント向上させた。この改善は蒸留研究において実用的な意味を持つ。監督の密度を高めるのではなく、本当に必要な位置により賢く監督を配分することの有効性を示しているからだ。
本論文は2026年6月26日に投稿され、arXiv:2606.28562v1 として計算と言語（cs.CL）分野に分類されている。SEAD の価値は特定の蒸留アルゴリズムにとどまらない。生徒の能力を監督信号の調整変数として捉え、エントロピーという計算可能な指標で複数の粒度を統一的に測定する枠組みを提示した点にある。これは、オンライン蒸留、カリキュラム学習、エントロピー駆動型の訓練戦略を横断する今後の研究に再利用可能な視点を与えるものである。