隨着數據隱私法規的日益嚴格，機器學習遺忘（Machine Unlearning）——從已部署的模型中移除特定訓練數據影響的技術——變得至關重要。然而，現有的驗證方法主要關注輸出級指標，如成員推斷、保留準確率和遺忘集準確率。這些指標雖然易於測量，但本文作者指出，一個模型可以通過所有輸出級測試，卻仍然在其內部表示中編碼被遺忘的記錄。
來自的研究團隊提出了RULER，一套表示級驗證指標。其中包括兩種核心度量：M2和M4。M2是一種基於Oracle比較的度量，它測量遺忘集記錄在表示空間中的位置是否與在沒有這些數據的情況下重新訓練的模型中的位置一致。而M4則是一種無需Oracle的度量，僅通過未學習模型的內部相似性結構來檢測殘留。
研究團隊在四種近似遺忘方法上進行了實驗，所有方法均通過了輸出級評估。然而，使用線性混合效應模型，M2在12種條件中的10種下檢測到了顯著殘留（p<0.05），且效應大小隨遺忘比例增加而增大。第五種方法Bad Teacher雖然使用了不同的遺忘機制，也表現出了相同的殘留模式。M4則作為遺忘前診斷工具，在表格數據、圖像、臨牀文本和人臉識別等多種場景中有效：它能夠檢測到人臉識別模型中身份級別的記憶化，而所有測試方法都無法完全擦除該信號。
這一發現具有重要意義：它揭示了當前機器學習遺忘驗證中的盲點，並提供了更嚴格的評估標準。RULER不僅可用於驗證遺忘效果，還能指導改進遺忘算法，確保用户數據的真正移除。未來，研究團隊計劃將RULER擴展到更廣泛的模型架構和遺忘場景中。