近年来，大语言模型（LLM）的规模持续增长，给实际部署带来了巨大挑战。模型压缩技术，特别是知识蒸馏，成为将大型教师模型的能力迁移到小型学生模型的重要手段。然而，传统的能力蒸馏方法通常将各项能力视为独立训练目标，忽略了能力之间的相互影响。这种简化处理可能导致资源浪费和能力退化——提升某一能力可能意外削弱其他能力，尤其是在多个能力共同决定下游任务成功与否的场景中。
针对这一问题，来自研究团队的Xueqi Cheng等人提出了ReAD（Reinforcement-guided cApability Distillation）框架，并于2026年5月11日提交至arXiv。该框架首次系统性地研究了固定令牌预算下能力蒸馏的动态行为，并发现两个一致模式：第一，蒸馏过程会引发系统性的跨能力迁移，且这种迁移强烈依赖于预算大小；第二，额外增加的预算往往只能带来有限的与任务相关的收益，甚至可能降低其他有用能力。这些发现揭示了现有方法的根本缺陷。
基于上述洞察，ReAD框架明确建模了能力之间的相互依赖关系。其核心流程分为三步：首先，通过分析任务需求，推断出对下游任务至关重要的能力集合；其次，在蒸馏过程中动态生成针对这些关键能力的监督信号，而非对所有能力一视同仁；最后，采用一种不确定性感知的上下文赌博机（contextual bandit）算法，根据预期的效用增益自适应地分配有限的蒸馏预算。这种智能分配机制确保了预算被投入到最需要的能力上，从而最大化整体收益。
实验结果表明，在相同的令牌预算下，ReAD相比强基线方法显著提升了下游任务的效用，同时有效减少了有害的能力溢出和蒸馏浪费。该研究为高效模型压缩开辟了新方向，相关代码已在GitHub上公开，供研究社区复现和进一步探索。