大規模推論モデルは、長い思考連鎖（CoT）トレースを用いて問題を解決することが多いが、その計算の多くは冗長な導出、繰り返しの自己検証、最終的な回答に寄与しない回り道に費やされている。既存のオン方策自己蒸留手法は、学生モデルが自身のロールアウトからサンプリングしたプレフィックス上で、簡潔なコピーに一致するように学習することでこのコストを削減する。しかし、この目的関数には初期化のボトルネックが存在する。監督信号は訪問されたプレフィックスにのみ適用されるため、冗長なベースモデルから訓練を開始すると、KL損失はノイズが多く冗長で、すでに軌道から外れたコンテキストに置かれることになる。そのような領域では、簡潔な教師は局所的な修正しか提供できず、学生は効率的な推論器が避けるべき軌道を探索し続ける。
この問題に対処するため、複数の機関の研究者はBIRD（ブートストラップ型反復的自己推論蒸留）を提案した。これは2段階の自己推論蒸留手法である。第1段階では、BIRDはベースモデルから簡潔な指示の下で解をサンプリングし、正解したトレースのみを保持して、軽量なプロンプト切り替えSFTステップを実行する。トレースは簡潔な指示で生成されるが、元のタスクプロンプトの下で学習され、指示による簡潔性がデフォルトの推論行動に変換される。このウォームモデルから開始して、BIRDはよりクリーンで情報量の多いプレフィックスに対して、簡潔な自己教師を用いたオン方策逆KL蒸留を適用する。
Qwen3シリーズモデルでの実験により、BIRDはMATH-500およびAIMEベンチマークにおいて、プロンプティングやコールドスタートのオン方策蒸留よりも優れた精度-効率トレードオフを達成した。Qwen3-8Bでは、MATH-500の精度が86.2%から92.0%に向上し、平均応答長が3,099トークンから1,115トークンに削減された。これらの結果は、効率的な推論蒸留におけるプレフィックスサポートの中心的な重要性を強調している。BIRDは計算効率を向上させるだけでなく、推論の質を維持し、リソース制約のある環境での大規模推論モデルの展開に新たな可能性を開く。本論文はLeichao Dongらにより2026年7月17日にarXivに提出され、計算と言語（cs.CL）分野に属する。研究チームは実験を通じて、単純なプロンプトエンジニアリングやコールドスタートのオン方策蒸留と比較して、BIRDが複数のベンチマークで優れた精度-効率トレードオフを示すことを実証した。この研究は、推論モデルの圧縮と効率的な展開のための実用的な手法を提供し、特に高速応答が求められるアプリケーションに適している。