大規模言語モデル（LLM）の圧縮技術として、知識蒸留が広く用いられています。特に、能力蒸留（Capability Distillation）は、教師モデルから生徒モデルへ、下流タスクに必要な特定の能力を選択的に転移する手法です。しかし、既存手法の多くは各能力を独立した訓練目標として扱い、一つの能力の向上が他の能力に与える影響を考慮していません。このため、能力間の相互作用が無視され、蒸留効率が低下する問題がありました。
Xueqi Chengらによる研究チームは、この課題に取り組み、2026年5月11日にarXivに投稿した論文で、新たなフレームワーク「ReAD」を提案しました。ReADは、固定トークン予算下での能力蒸留を詳細に分析し、二つの重要なパターンを特定しました。第一に、蒸留はシステム的かつ予算依存のクロス能力転移を引き起こすこと、第二に、追加予算はタスク関連の利益が限定的で、時に他の有用な能力を低下させることです。これらの洞察に基づき、ReADは能力の相互依存性を明示的にモデル化します。
ReADフレームワークは三つの主要ステップから構成されます。まず、タスクに必須の能力を推論します。次に、それらの能力に特化した監督信号をオンザフライで生成します。最後に、不確実性を考慮した文脈的バンディット（contextual bandit）を用いて、期待される効用に基づいて蒸留予算を適応的に割り当てます。このアルゴリズムは、各能力の改善による期待効用の不確実性を考慮し、最も効果的な能力に予算を集中させます。
実験では、ReADが同じトークン予算下で下流タスクの効用を大幅に向上させ、有害な波及効果や無駄な蒸留努力を低減することが示されました。コードはGitHubで公開されており、研究コミュニティでの再現と応用が期待されます。この研究は、効率的なモデル圧縮の新たな方向性を提示するものです。