モデル蒸留の簡単な歴史

知識蒸留について、ほとんどの人が語る物語は2015年に始まります。Geoffrey Hinton、Oriol Vinyals、Jeff Deanが巧妙なソフトマックス温度のトリックと「ダークナレッジ」というフレーズを導入し、すぐにこの分野の語彙に定着しました。良い物語です。しかし、それだけでは約10年分の歴史が欠けています。

本当の歴史はもっと静かで、実用的であり、掘り起こす価値があります。なぜなら、2006年から2015年にかけてこの分野が行った概念的な動きは、今日でも蒸留の考え方を定義しているからです。語彙は変わりました。図は変わりました。しかし、教師から生徒へ何が伝達されるのかという根本的な問いは変わっていません。現代のオンポリシー蒸留、推論蒸留、クロスアーキテクチャ転送を理解するには、基礎を築いた3つの論文を振り返り、それぞれが同じアイデアを発明する過程で異なる問題を解決したことに注目すると役立ちます。

2006年：圧縮としての模倣。その年、研究者たちは大規模モデルの知識を小規模モデルに圧縮する方法を模索し始めました。これは本質的に模倣学習でした。初期の実験では、小規模モデルに大規模モデルの出力分布を模倣させることで、計算コストを大幅に削減しながらも性能の大部分を維持できることが示されました。この研究はその後の蒸留手法の理論的基盤を築きました。

2015年：ダークナレッジの爆発。Hintonらは知識蒸留のフレームワークを正式に提案し、温度パラメータを使ってソフトマックス出力を軟化させ、小規模モデルが教師モデルの「ダークナレッジ」から学習できるようにしました。この手法は画像分類で成功を収めただけでなく、その後、クロスモーダルやクロスタスクの知識転送への扉を開きました。

その後、蒸留技術は急速に発展し、分類タスクから生成モデル、強化学習まで幅広い分野に広がりました。それぞれの進歩は初期の研究の核心的な考え方、すなわち教師の知識の構造を理解し、それを生徒に効果的に伝達する方法を反映しています。