在機器學習的歷史中，資料通常被視為類似地質資源的存在——它已經存在於世界的某個角落：書籍、網站、程式碼庫、對話、照片和資料庫中。研究者的任務就是挖掘、清理、分詞，然後將其輸入模型。
然而，大型語言模型徹底改變了這種關係。一個強大的模型不僅僅是資料的消費者，它還能生成問題、答案、解釋、批評、偏好標籤、工具使用痕跡、教科書、程式設計練習，甚至完整的微型課程。
這創造了一種新的訓練原語：與其讓昂貴的模型永無止境地處理生產查詢，不如讓它製造出小型模型學習所需的經驗。教師模型離線執行，其輸出成為資料集，資料集訓練學生模型。在推理時，教師模型消失，但其部分行為已嵌入學生模型中。
這就是合成資料蒸餾的本質。這種方法不僅降低了推理成本，還使得知識能夠以資料的形式高效傳遞。