OriginBlame：AI訓練資料集的記錄級和令牌級資料溯源
本文介紹OriginBlame，一個記錄級和令牌級的資料溯源系統，能夠精確地將資料刪除請求對映到具體的訓練記錄，避免大規模過度刪除。在219,555個維基百科頁面上的評估顯示，記錄級溯源將過度刪除從101倍降低到1.3倍，同時引入的吞吐量開銷僅為1.3-4.0%（HuggingFace）和2.1-19.0%（Datatrove）。在17億引數模型上，基於溯源的遺忘集比隨機基線提高了42%的遺忘效果。
隨著人工智慧模型的訓練資料規模不斷增大，資料貢獻者要求刪除其資料的情況也日益增多。然而，現有的資料溯源系統通常只在檔案或資料集級別操作，導致在刪除資料時不得不進行災難性的過度刪除。為了解決這一實際問題，來自研究團隊的Haolin Xue等人提出了OriginBlame系統（簡稱ob），這是一個能夠在記錄級和令牌級進行資料溯源的新方法。該系統透過將作者身份資訊傳播到資料處理流水線的各個環節，並利用確定性查詢將撤銷請求解析為精確的遺忘集，從而實現了對訓練資料的精細化管理。
OriginBlame在219,555個維基百科頁面上進行了全面評估，結果顯示，記錄級溯源將資料集級別的過度刪除從101倍降低到了1.3倍，幾乎完全消除了不必要的刪除。同時，該系統的整合開銷非常低，在HuggingFace上僅增加了1.3-4.0%的吞吐量開銷，在Datatrove上增加了2.1-19.0%。為了驗證OriginBlame在模型遺忘方面的實際效果，研究者在17億引數的語言模型上進行了測試。結果表明，基於溯源資訊的遺忘集比隨機選擇的基線方法在遺忘效果上提升了42%。這一工作為AI訓練資料的管理和合規提供了新的工具，有望推動資料隱私保護技術的進步。論文於2026年5月19日提交至arXiv，編號2607.13037，包含13頁和6張圖表，隸屬於人工智慧領域。