強力な言語モデルから弱いモデルへ推論能力を蒸留する際、典型的には特定の解法軌跡を模倣させる。これは「何を答えるか」を伝えるもので、「どのように推論するか」を伝えるものではない。論文は、この軌跡レベルの模倣がインスタンス固有の手順の記憶を促し、転移可能な問題解決スキルの獲得を妨げるため、新しい問題への汎化を制限すると指摘する。
そこで著者らは、インスタンスレベルの軌跡模倣を再利用可能な戦略蒸留に置き換える戦略誘導方策最適化（SGPO）を提案する。SGPOはまず強モデルの応答から構造化された戦略記述を抽出し、各問題に対して自律軌跡と戦略誘導軌跡の両方を構築する。これにより、戦略的ガイダンスの有無によるモデル自身の振る舞いを直接比較できる。
この枠組みは二つの主要な問いに答える。第一に「どのように蒸留するか」については、トークン単位の前方KL目的を用い、戦略条件付けによって生じる分布シフトを選択的に非誘導方策へ転移させる。近接制約を加えることで訓練の安定性を確保する。第二に「いつ蒸留するか」については、適応的なインスタンス単位の重み付けを導入する。自律探索が不十分なときはガイダンスを強化し、モデル自身の能力が向上するにつれてガイダンスを弱める。
実験は4つの数学ベンチマークと2つのモデルファミリで実施された。結果として、SGPOは教師あり微調整（SFT）、オンライン強化学習、ハイブリッド方策ベースラインを一貫して上回った。Qwen2.5-7B-Instructでは、最強のベースラインと比較して平均スコアを2.2ポイント改善している。
分析により、前方KL目的が本質的に選択的な蒸留信号を提供し、直接的な軌跡模倣よりも優れることが示された。また、戦略蒸留は基盤モデルの能力と相補的なスケーリング関係を示す。本研究は、推論能力の蒸留を「軌跡の模倣」から「戦略の学習」へ転換する新たな方向性を提示している。