NVIDIA、X-Tokenを発表：投影誘導型クロストークナイザ知識蒸留でLlama-3.2-1BにおいてGOLDを平均3.82ポイント上回る

NVIDIAのX-Tokenは、クロストークナイザ知識蒸留におけるGOLDの2つの構造的欠陥を修正し、GSM8kなどの数学推論ベンチマークで大幅な改善を達成。投影行列とP-KL・H-KL損失の選択メカニズムにより、トークナイザの不一致を処理する。