TAKE：用於文本數據集蒸餾的軌跡感知知識估計
本文提出了一種基於軌跡感知知識估計（TAKE）的文本數據集蒸餾框架，利用影響函數和訓練軌跡計算每個樣本的知識得分，並通過最優傳輸選擇原型樣本，可將語料庫壓縮至原始大小的0.1%，同時保持下游任務性能。該方法在文本分類和自然語言推理任務上驗證了有效性，為數據高效AI提供了理論支撐。
現代自然語言處理（NLP）面臨着一個日益嚴峻的挑戰：大規模文本語料庫不僅佔用大量存儲空間，而且在訓練、微調和持續學習過程中累積了高昂的計算成本。為了解決這一問題，來自越南的研究團隊提出了一種名為TAKE（Trajectory-Aware Knowledge Estimation）的文本數據集蒸餾框架，能夠在將語料庫壓縮至原始大小0.1%的極端情況下，仍然保持下游任務的性能。該論文已被ECML-PKDD 2026會議接收。
TAKE的核心創新在於將影響函數與訓練軌跡相結合。影響函數是一種經典方法，用於量化單個訓練樣本對模型最終性能的影響。然而，傳統的影響函數只考慮最終模型狀態，忽略了訓練過程中樣本重要性的動態變化。TAKE通過沿着訓練軌跡卷積基於知識的影響，為每個樣本生成一個綜合的知識得分。這個得分捕捉了樣本在整個訓練過程中提供的信息量。然後，這些得分被用作離散最優傳輸目標中的樣本權重，指導從合成生成的候選池中選擇最具代表性的原型樣本。
研究團隊在文本分類和自然語言推理任務上進行了評估，使用極端壓縮比（0.1%或每類僅20個樣本）。實驗結果表明，TAKE在如此極端的壓縮率下，仍然能夠保持與使用完整數據集相當的任務性能，證明了數據效率與任務保真度之間的良好平衡。該方法具有堅實的理論基礎，不僅適用於數據集蒸餾，還對核心集構建和數據中心AI具有更廣泛的意義。
研究團隊已經將TAKE的源代碼公開在GitHub上（https://github.com/votrinhan88/take）。該工作為NLP領域處理大規模文本數據提供了一種高效、可行的解決方案，有望降低存儲和計算成本，推動數據高效AI的發展。