TAKE：用于文本数据集蒸馏的轨迹感知知识估计
本文提出了一种基于轨迹感知知识估计（TAKE）的文本数据集蒸馏框架，利用影响函数和训练轨迹计算每个样本的知识得分，并通过最优传输选择原型样本，可将语料库压缩至原始大小的0.1%，同时保持下游任务性能。该方法在文本分类和自然语言推理任务上验证了有效性，为数据高效AI提供了理论支撑。
现代自然语言处理（NLP）面临着一个日益严峻的挑战：大规模文本语料库不仅占用大量存储空间，而且在训练、微调和持续学习过程中累积了高昂的计算成本。为了解决这一问题，来自越南的研究团队提出了一种名为TAKE（Trajectory-Aware Knowledge Estimation）的文本数据集蒸馏框架，能够在将语料库压缩至原始大小0.1%的极端情况下，仍然保持下游任务的性能。该论文已被ECML-PKDD 2026会议接收。
TAKE的核心创新在于将影响函数与训练轨迹相结合。影响函数是一种经典方法，用于量化单个训练样本对模型最终性能的影响。然而，传统的影响函数只考虑最终模型状态，忽略了训练过程中样本重要性的动态变化。TAKE通过沿着训练轨迹卷积基于知识的影响，为每个样本生成一个综合的知识得分。这个得分捕捉了样本在整个训练过程中提供的信息量。然后，这些得分被用作离散最优传输目标中的样本权重，指导从合成生成的候选池中选择最具代表性的原型样本。
研究团队在文本分类和自然语言推理任务上进行了评估，使用极端压缩比（0.1%或每类仅20个样本）。实验结果表明，TAKE在如此极端的压缩率下，仍然能够保持与使用完整数据集相当的任务性能，证明了数据效率与任务保真度之间的良好平衡。该方法具有坚实的理论基础，不仅适用于数据集蒸馏，还对核心集构建和数据中心AI具有更广泛的意义。
研究团队已经将TAKE的源代码公开在GitHub上（https://github.com/votrinhan88/take）。该工作为NLP领域处理大规模文本数据提供了一种高效、可行的解决方案，有望降低存储和计算成本，推动数据高效AI的发展。