在线策略蒸馏（On-Policy Distillation，OPD）近年来被视为离线蒸馏与强化学习之外的一条模型压缩与能力迁移路径，但它具有一个被忽视的关键特性：教师监督的质量并不固定，而是取决于学生模型当前的能力水平。当学生生成的轨迹前后不连贯、逻辑混乱时，教师给出的监督信号往往对应嘈杂的梯度；而当学生已经熟练掌握某些 token 时，监督又变成多余的重复信号。换言之，OPD 中存在大量“无效监督”，但这种浪费并未被现有方法系统性处理。
来自 Chia-Hsuan Lee 等七位作者的新论文《SEAD: Competence-Aware On-Policy Distillation via Entropy-Guided Supervision》正是针对这一痛点。作者指出，这种由学生能力不足或过度成熟造成的监督退化，实际发生在三个不同尺度上：单个 token 层面、训练阶段层面以及提示词（prompt）层面。然而，现有的 OPD 方法对所有这些位置一视同仁地施加均匀监督，导致计算资源和梯度信号被大量浪费。
SEAD 的核心思路是用熵作为统一的“探针”，同时捕捉这三个尺度上的能力依赖退化。具体而言，方法包含三个相互配合的组件。第一，在 token 尺度上，SEAD 结合教师模型与学生模型的联合熵，将 token 划分为不同区域：一部分区域接受为其量身定制的散度目标，另一部分则直接置零梯度。作者表示，这一机制大约会跳过 50% 的 token，从而显著减少无效计算。第二，在训练阶段尺度上，SEAD 采用余弦调度，随着学生能力提升，将训练目标由前向 KL 散度逐渐退火至反向 KL 散度，使监督形式与学生的成长曲线相匹配。第三，在提示词尺度上，方法引入由能力门控的课程学习，从易到难逐步引入提示词，避免学生在尚未具备基础能力时被过难样本干扰。
值得注意的是，这三个组件并非可以随意拆分的独立技巧，而是存在共生关系。作者强调，token 选择机制依赖于连贯的轨迹，而轨迹的连贯性又需要课程学习来保障；同样，KL 退火需要学生能力呈现单调提升，这同样依赖课程安排。因此，缺少任一环节，其他组件的假设都可能不成立。这也解释了为何论文通过消融实验确认组件之间存在“超加性”交互，即组合效果大于各部分单独效果之和。
在实验方面，作者在 OLMo-3 系列模型上进行了验证，覆盖从 7B 到 32B 的不同规模。结果显示，在六个数学基准测试上，SEAD 相较原始 OPD 平均准确率提升 4.8 个百分点。这一提升在蒸馏研究中具有实际意义，因为它表明：与其增加监督的密度，不如让监督“更聪明”地分配在真正需要的位置。
该论文提交于 2026 年 6 月 26 日，编号 arXiv:2606.28562v1，归类于计算与语言（cs.CL）方向。整体来看，SEAD 的价值不仅在于一个具体的蒸馏算法，更在于提出了一个观察框架：把学生能力视为监督信号的调节变量，并用熵这一可计算指标在多个粒度上统一度量。这为后续在线蒸馏、课程学习与熵驱动训练策略的交叉研究提供了可复用的思路。