在機器學習的歷史中，數據通常被視為類似地質資源的存在——它已經存在於世界的某個角落：書籍、網站、代碼庫、對話、照片和數據庫中。研究者的任務就是挖掘、清理、分詞，然後將其輸入模型。
然而，大型語言模型徹底改變了這種關係。一個強大的模型不僅僅是數據的消費者，它還能生成問題、答案、解釋、批評、偏好標籤、工具使用痕跡、教科書、編程練習，甚至完整的微型課程。
這創造了一種新的訓練原語：與其讓昂貴的模型永無止境地處理生產查詢，不如讓它製造出小型模型學習所需的經驗。教師模型離線運行，其輸出成為數據集，數據集訓練學生模型。在推理時，教師模型消失，但其部分行為已嵌入學生模型中。
這就是合成數據蒸餾的本質。這種方法不僅降低了推理成本，還使得知識能夠以數據的形式高效傳遞。