AI蒸餾技術簡史

知識蒸餾（Knowledge Distillation）是人工智慧領域的一項重要技術，旨在將大型、複雜的模型（教師模型）的知識遷移到小型、高效的模型（學生模型）中，從而在保持較高效能的同時減少計算資源消耗。這一概念最早由Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年的論文《Distilling the Knowledge in a Neural Network》中系統闡述，但類似的思想在早期整合學習和模型壓縮研究中已有萌芽。

蒸餾的核心思想是讓學生模型學習教師模型的“軟標籤”（即輸出機率分佈），而不僅僅是真實標籤。透過引入溫度引數軟化機率分佈，學生模型能夠捕捉教師模型中的暗知識（dark knowledge），例如類別間的相似性。這種方法不僅提高了學生模型的泛化能力，還能有效壓縮模型體積，使其適用於移動端和嵌入式裝置。

自2015年以來，蒸餾技術經歷了多代演進。2016年，Romero等人提出FitNets，利用中間層特徵進行蒸餾。2018年，Tian等人提出對比蒸餾，透過對比學習增強學生模型。線上蒸餾（Online Distillation）允許多個模型同時互相學習；自蒸餾（Self-Distillation）則讓模型自我改進。這些變體進一步拓展了蒸餾的應用場景。

在大模型時代，蒸餾成為部署大型語言模型（如GPT、BERT）的關鍵技術之一。例如，DistilBERT透過蒸餾將BERT模型縮小40%，同時保留97%的語言理解能力。此外，蒸餾還被用於計算機視覺（如MobileNet）、推薦系統和強化學習等領域。隨著模型規模持續增長，蒸餾技術在效率與效能平衡方面將扮演越來越重要的角色。