英偉達推出X-Token：投影引導的跨分詞器知識蒸餾，在Llama-3.2-1B上平均得分超過GOLD 3.82個百分點

英偉達的X-Token解決了GOLD在跨分詞器知識蒸餾中的兩個結構性缺陷，在GSM8k等數學推理基準上取得了顯著改進。它利用投影矩陣和P-KL與H-KL損失之間的選擇機制來處理分詞器不匹配問題。