Yumeng Zhangらによる最新の研究は、大規模言語モデル（LLM）の知識蒸留における重要な課題に取り組む「分布補正型オフライン推論蒸留」フレームワークを提案している。この研究はarXiv（番号2605.14071）に提出され、2026年5月13日に公開された。
背景と問題 強力なLLM（例：GPT-4）の推論能力を小さなモデルに蒸留することは、リソース制約のある環境で重要である。しかし、既存手法は根本的なトレードオフに直面している。オフライン蒸留は教師モデルが生成した推論軌跡を使用し、高品質でサンプル効率の良い監視を提供するが、訓練時は教師のプレフィックスに条件付けられ、推論時は自己生成プレフィックスに依存するため、分布ドリフトが発生し誤差が蓄積する。一方、オン方策蒸留は推論分布に適合するが、高コストなオンラインサンプリングが必要で、初期訓練では低品質な軌跡を生成する。
方法の革新 提案フレームワークは完全にオフラインデータに基づくが、教師の監視信号を適応的に重み付けすることで分布ドリフトを補正する。具体的には、生徒の現在のオン方策分布とより整合する教師例を動的に強調する。これにより、データ効率を犠牲にすることなく訓練と推論のギャップを埋める。この方法はオンライン相互作用を一切必要とせず、巧妙に設計された重み割り当てによってオフライン訓練を最適化する。
実験結果 数学推論ベンチマークGSM8K、MATH、MATH500、そしてより挑戦的な競技レベルのタスク（AMC、AIME、OlympiadBench）において、提案フレームワークは既存のオフライン蒸留アルゴリズムよりも高い推論精度を達成し、より安定した推論軌跡を生成した。さらに、モデルは指示追従能力を維持していた。この研究は、軽量な分布補正訓練がオンライン生成を必要とせずにオフライン推論蒸留を大幅に強化できることを示している。
意義と影響 この研究の意義は、オンラインサンプリングコストを負担できない展開シナリオに特に適した、実用的で経済的なオフライン蒸留の改善策を提供することにある。分布ドリフトを補正することで、追加コストなしで蒸留効果を向上させ、小型モデルによる数学的推論などの複雑なタスクの応用を促進する可能性がある。