OriginBlame:AIトレーニングデータセットのレコードレベルおよびトークンレベルのデータプロvenance
OriginBlameは、レコードレベルおよびトークンレベルのデータプロvenanceシステムであり、データ削除要求を正確にトレーニングレコードにマッピングし、過剰削除を101倍から1.3倍に低減します。統合によるスループットオーバーヘッドは1.3~4.0%(HuggingFace)および2.1~19.0%(Datatrove)です。1.7Bモデルでは、プロvenanceに基づく忘却セットにより、ランダムベースラインと比較して忘却性能が42%向上しました。
AIモデルのトレーニングデータセットが大規模化するにつれて、データ提供者が自身のデータ削除を要求するケースが増えています。しかし、既存のデータプロvenanceシステムはファイルまたはデータセットレベルで動作するため、削除要求に対して過剰なデータ削除を余儀なくされていました。この問題を解決するために、Haolin Xue氏率いる研究チームはOriginBlame(ob)システムを提案しました。これは、レコードレベルおよびトークンレベルでのデータプロvenanceを実現する新しい手法です。OriginBlameは、著者IDをデータ処理パイプライン全体に伝播させ、決定論的クエリによって削除要求を正確な忘却セットに変換します。
219,555のウィキペディアページを用いた評価では、レコードレベルのプロvenanceによりデータセットレベルの過剰削除が101倍から1.3倍に削減されました。また、統合時のスループットオーバーヘッドはHuggingFaceで1.3~4.0%、Datatroveで2.1~19.0%と低く抑えられています。さらに、1.7Bパラメータの言語モデルでプロvenanceベースの忘却セットを評価したところ、ランダムなベースラインと比較して忘却性能が42%向上しました。この研究は、AIトレーニングデータの管理とコンプライアンスに新たなツールを提供し、データプライバシー保護技術の進展に貢献するものと期待されます。本論文は2026年5月19日にarXivに提出され、識別番号は2607.13037、13ページ・6図から構成され、人工知能分野に分類されます。