TAKE：用於文本資料集蒸餾的軌跡感知知識估計
本文提出了一種基於軌跡感知知識估計（TAKE）的文本資料集蒸餾框架，利用影響函式和訓練軌跡計算每個樣本的知識得分，並透過最優傳輸選擇原型樣本，可將語料庫壓縮至原始大小的0.1%，同時保持下游任務效能。該方法在文本分類和自然語言推理任務上驗證了有效性，為資料高效AI提供了理論支撐。
現代自然語言處理（NLP）面臨著一個日益嚴峻的挑戰：大規模文本語料庫不僅佔用大量儲存空間，而且在訓練、微調和持續學習過程中累積了高昂的計算成本。為了解決這一問題，來自越南的研究團隊提出了一種名為TAKE（Trajectory-Aware Knowledge Estimation）的文本資料集蒸餾框架，能夠在將語料庫壓縮至原始大小0.1%的極端情況下，仍然保持下游任務的效能。該論文已被ECML-PKDD 2026會議接收。
TAKE的核心創新在於將影響函式與訓練軌跡相結合。影響函式是一種經典方法，用於量化單個訓練樣本對模型最終效能的影響。然而，傳統的影響函式只考慮最終模型狀態，忽略了訓練過程中樣本重要性的動態變化。TAKE透過沿著訓練軌跡卷積基於知識的影響，為每個樣本生成一個綜合的知識得分。這個得分捕捉了樣本在整個訓練過程中提供的資訊量。然後，這些得分被用作離散最優傳輸目標中的樣本權重，指導從合成生成的候選池中選擇最具代表性的原型樣本。
研究團隊在文本分類和自然語言推理任務上進行了評估，使用極端壓縮比（0.1%或每類僅20個樣本）。實驗結果表明，TAKE在如此極端的壓縮率下，仍然能夠保持與使用完整資料集相當的任務效能，證明了資料效率與任務保真度之間的良好平衡。該方法具有堅實的理論基礎，不僅適用於資料集蒸餾，還對核心集構建和資料中心AI具有更廣泛的意義。
研究團隊已經將TAKE的原始碼公開在GitHub上（https://github.com/votrinhan88/take）。該工作為NLP領域處理大規模文本資料提供了一種高效、可行的解決方案，有望降低儲存和計算成本，推動資料高效AI的發展。