大型推理模型通常依賴長鏈思維（CoT）來解決複雜問題，但大量的計算資源被浪費在冗餘推導、重複自我驗證和無關繞路上。現有的在線自我蒸餾方法通過讓學生模型在自身生成前綴上匹配簡潔版本來降低計算成本。然而，這些方法存在一個初始化瓶頸：由於監督信號僅應用於已訪問的前綴，從冗長的基模型開始訓練會將KL散度損失置於充滿噪聲、冗餘或偏離正確方向的上下文之中。在這種情況下，簡潔的教師模型只能提供局部修正，學生模型仍會探索高效推理器應避免的軌跡。
為了解決這一問題，來自多個機構的研究人員提出了BIRD（引導式迭代自我推理蒸餾），這是一種兩階段自我推理蒸餾方法。在第一階段，BIRD從基模型中採樣簡潔解，僅保留答案正確的軌跡，並執行輕量級的提示切換SFT步驟。這些軌跡在簡潔指令下生成，但在原始任務提示下學習，從而將指令誘導的簡潔性轉化為默認推理行為。第一階段結束後，模型已經具備了生成更簡潔推理路徑的能力。
第二階段，從這一預熱模型開始，BIRD應用在線逆KL蒸餾，使用簡潔的自教師模型在更乾淨、信息量更大的前綴上進行訓練。這使得模型能夠進一步壓縮推理鏈，同時保持甚至提升準確性。
在Qwen3系列模型上的實驗驗證了BIRD的有效性。以Qwen3-8B為例，在MATH-500基準測試上，準確率從86.2%提升至92.0%，同時平均響應長度從3099 tokens減少至1115 tokens，大幅降低了計算開銷。在AIME基準測試上也取得了類似的改善。這些結果強調了前綴支持作為高效推理蒸餾核心因素的重要性。BIRD不僅提升了計算效率，還保持了模型的推理質量，為未來在資源受限場景下部署大型推理模型提供了新的思路。該論文由Leichao Dong等人於2026年7月17日提交至arXiv，屬於計算與語言（cs.CL）領域。研究團隊通過實驗證明，相比於簡單的提示工程或冷啓動在線蒸餾，BIRD在多個基準上均表現出更優的準確率-效率折中。這一工作為推理模型的壓縮和高效部署提供了實用方案，尤其適用於需要快速響應的應用場景。