大規模なテキストコーパスは、現代の自然言語処理（NLP）において、ストレージだけでなく、トレーニング、ファインチューニング、継続学習の累積コストの面でも静かなボトルネックとなっています。この問題に対処するため、ベトナムの研究チームは「TAKE」（Trajectory-Aware Knowledge Estimation）と呼ばれるテキストデータセット蒸留フレームワークを提案しました。このフレームワークは、コーパスを元のサイズの0.1%まで削減しながら、下流タスクの性能を維持します。本論文はECML-PKDD 2026に採択されています。
TAKEの核心は、影響関数（influence functions）と学習軌道を組み合わせて各サンプルの重要性を評価することです。影響関数は各サンプルの下流目的への貢献を定量化する古典的な手法ですが、従来の影響関数は最終モデルの状態のみを考慮し、トレーニング中のサンプルの重要性の動的な変化を無視していました。TAKEは、学習軌道に沿って知識ベースの影響を畳み込み、各サンプルに対して統合的な知識スコアを生成します。このスコアは、サンプルがトレーニング全体を通じて提供する情報量を捉えます。その後、これらのスコアは離散最適輸送目的内のサンプル重みとして機能し、合成生成された候補プールから最も代表的なプロトタイプの選択を導きます。
研究チームは、テキスト分類と自然言語推論タスクにおいて、極端な圧縮率（0.1%、またはクラスあたり20サンプル）で評価を行いました。実験結果は、TAKEがこのような極端な圧縮率でも、完全なデータセットを使用した場合と同等のタスク性能を維持できることを示し、データ効率とタスク忠実度の間の良好なバランスを実証しています。このアプローチは理論的に基盤があり、データセット蒸留だけでなく、コアセット構築やデータ中心AIへの広範な応用が期待されます。
研究チームはTAKEのソースコードをGitHubで公開しています（https://github.com/votrinhan88/take）。この研究は、大規模テキストデータを扱うNLP分野に対して効率的で実用的なソリューションを提供し、ストレージと計算コストの削減、データ効率的なAIの推進に貢献する可能性があります。