シーケンスナレッジ #894：生徒が反論し始めた時 — LLM時代の蒸留

2015年の蒸留論文を振り返ると、印象的なのは温度トリックやダークナレッジの枠組みではなく、論文が静かに前提としていた世界である。固定された入力分布があり、教師は閉じたクラスセットに対して確率ベクトルを生成し、生徒はそのベクトルに一致するよう訓練される。データセットを両方に通し、損失を計算し、逆伝播する。このパイプラインには機械的な無邪気さがあった。すべてが自分のレーンに留まっていた。

その後、言語モデルが登場し、一つずつすべての前提が崩れた。本稿はその崩壊の物語である。蒸留の弧の中で、分野は圧縮（固定関数の小型コピー作成）から能力転送（より大きなモデルの助けを借りて小さなモデルに実際に難しいことをさせる）へと考えるのをやめた。このシフトには約5年かかり、3つの認識可能な段階を経た。各段階は当時は小さな工学的改善に見えたが、後から見ると概念的な家具を動かしていた。

第1段階：シーケンスは画像ではない。この段階では、言語モデルのシーケンス特性が従来の画像分類と異なることを認識し、蒸留をシーケンス生成タスクに適応させる必要があった。第2段階：出力分布から行動模倣へ。教師は確率分布だけでなく、生成プロセスや行動パターンも提供し、生徒は出力の模倣から推論ステップの模倣へと移行した。第3段階：自律と対話。生徒は受動的に知識を受け取るだけでなく、積極的に質問し、反論し、さらには教師にフィードバックするための訓練データを生成する双方向の相互作用が可能になった。

この進化は、蒸留技術の中核的な変化を明らかにした：静的コピーから動的学習へ、単一教師から複数ソースの協調へ、閉じたクラスから開かれた世界へ。これは大規模言語モデルの軽量展開に重要な道を提供する一方で、能力転送における生徒モデルの忠実性とロバスト性を確保する新たな課題も提起する。