OriginBlame：AI訓練數據集的記錄級和令牌級數據溯源
本文介紹OriginBlame，一個記錄級和令牌級的數據溯源系統，能夠精確地將數據刪除請求映射到具體的訓練記錄，避免大規模過度刪除。在219,555個維基百科頁面上的評估顯示，記錄級溯源將過度刪除從101倍降低到1.3倍，同時引入的吞吐量開銷僅為1.3-4.0%（HuggingFace）和2.1-19.0%（Datatrove）。在17億參數模型上，基於溯源的遺忘集比隨機基線提高了42%的遺忘效果。
隨着人工智能模型的訓練數據規模不斷增大，數據貢獻者要求刪除其數據的情況也日益增多。然而，現有的數據溯源系統通常只在文件或數據集級別操作，導致在刪除數據時不得不進行災難性的過度刪除。為了解決這一實際問題，來自研究團隊的Haolin Xue等人提出了OriginBlame系統（簡稱ob），這是一個能夠在記錄級和令牌級進行數據溯源的新方法。該系統通過將作者身份信息傳播到數據處理流水線的各個環節，並利用確定性查詢將撤銷請求解析為精確的遺忘集，從而實現了對訓練數據的精細化管理。
OriginBlame在219,555個維基百科頁面上進行了全面評估，結果顯示，記錄級溯源將數據集級別的過度刪除從101倍降低到了1.3倍，幾乎完全消除了不必要的刪除。同時，該系統的集成開銷非常低，在HuggingFace上僅增加了1.3-4.0%的吞吐量開銷，在Datatrove上增加了2.1-19.0%。為了驗證OriginBlame在模型遺忘方面的實際效果，研究者在17億參數的語言模型上進行了測試。結果表明，基於溯源信息的遺忘集比隨機選擇的基線方法在遺忘效果上提升了42%。這一工作為AI訓練數據的管理和合規提供了新的工具，有望推動數據隱私保護技術的進步。論文於2026年5月19日提交至arXiv，編號2607.13037，包含13頁和6張圖表，隸屬於人工智能領域。