近年來，大語言模型（LLM）的規模持續增長，給實際部署帶來了巨大挑戰。模型壓縮技術，特別是知識蒸餾，成為將大型教師模型的能力遷移到小型學生模型的重要手段。然而，傳統的能力蒸餾方法通常將各項能力視為獨立訓練目標，忽略了能力之間的相互影響。這種簡化處理可能導致資源浪費和能力退化——提升某一能力可能意外削弱其他能力，尤其是在多個能力共同決定下游任務成功與否的場景中。
針對這一問題，來自研究團隊的Xueqi Cheng等人提出了ReAD（Reinforcement-guided cApability Distillation）框架，並於2026年5月11日提交至arXiv。該框架首次系統性地研究了固定令牌預算下能力蒸餾的動態行為，並發現兩個一致模式：第一，蒸餾過程會引發系統性的跨能力遷移，且這種遷移強烈依賴於預算大小；第二，額外增加的預算往往只能帶來有限的與任務相關的收益，甚至可能降低其他有用能力。這些發現揭示了現有方法的根本缺陷。
基於上述洞察，ReAD框架明確建模了能力之間的相互依賴關係。其核心流程分為三步：首先，透過分析任務需求，推斷出對下游任務至關重要的能力集合；其次，在蒸餾過程中動態生成針對這些關鍵能力的監督訊號，而非對所有能力一視同仁；最後，採用一種不確定性感知的上下文賭博機（contextual bandit）演算法，根據預期的效用增益自適應地分配有限的蒸餾預算。這種智慧分配機制確保了預算被投入到最需要的能力上，從而最大化整體收益。
實驗結果表明，在相同的令牌預算下，ReAD相比強基線方法顯著提升了下游任務的效用，同時有效減少了有害的能力溢位和蒸餾浪費。該研究為高效模型壓縮開闢了新方向，相關程式碼已在GitHub上公開，供研究社群復現和進一步探索。