揭秘在线策略蒸馏：何时有益，何时有害，以及原因
尽管在线策略蒸馏为训练推理模型提供了密集的逐令牌监督，但其在不同条件下的有效性尚不明确。本文引入了一种无需训练的诊断框架，能够在令牌级别量化蒸馏信号与理想梯度的对齐程度。研究发现，蒸馏指导在错误滚动输出上的对齐度显著高于正确输出，且最佳蒸馏上下文依赖于学生模型容量和目标任务，不存在通用最优配置。
苹果机器学习研究团队近日发表了一篇题为《揭秘在线策略蒸馏：何时有益，何时有害，以及原因》的论文，深入探讨了在线策略蒸馏（On-Policy Distillation）在训练推理模型中的作用机制。该论文于2026年7月发布，由Mohammadreza Armandpour、Fatih Ilhan、David Harrison等多位研究者共同完成。在线策略蒸馏通过提供密集的逐令牌监督信号来训练学生模型，但这种信号在哪些条件下有益、哪些条件下有害，此前尚不明确。传统研究往往依赖于昂贵的训练运行，并通过聚合性能指标来分析，这掩盖了单个令牌级别的动态。
为了解决这一问题，研究团队提出了一种无需训练的诊断框架，能够在最高分辨率——即逐令牌、逐问题和逐教师级别上分析蒸馏过程。他们推导了一种理想逐节点梯度，定义为能够最大程度增加学生模型成功概率的参数更新。在此基础上，开发了一种可扩展的目标滚动输出算法，即使对于长链中间思考过程也能高效估计该梯度。梯度对齐分数（即该理想梯度与任何给定蒸馏梯度之间的余弦相似度）被用来量化特定配置与理想信号的接近程度。
通过对一系列自我蒸馏设置和外部教师模型的实验，研究人员观察到一个关键发现：蒸馏指导在错误的滚动输出上表现出与理想梯度显著更高的对齐度，而在正确的滚动输出上，由于学生模型已经表现良好，教师的信号往往变得噪声较大。此外，研究还发现，最佳的蒸馏上下文取决于学生模型的能力和目标任务，并不存在单一普遍有效的配置。这些发现强调了在蒸馏过程中进行基于任务和基于令牌的诊断分析的必要性，为未来设计更高效的蒸馏策略提供了理论指导。研究者指出，这一框架可广泛应用于不同规模和架构的模型，帮助 practitioners 在实际部署前快速评估蒸馏配置的优劣，避免昂贵的试错成本。