RULER：机器遗忘的表示层验证
本文介绍 arXiv 于 2026 年 5 月 26 日提交的论文《RULER: Representation-Level Verification of Machine Unlearning》，作者为 Georgina Cosma 与 Axel Finke，编号 arXiv:2605.27569v1，属于新增论文（Announce Type: new）。
机器遗忘（machine unlearning）指的是在不从零重新训练的前提下，把特定训练记录的影响从已部署模型中移除。当前主流的验证协议停留在输出层：通过成员推断（membership inference）、保留准确率（retain accuracy）以及遗忘集准确率（forget-set accuracy）来判断遗忘是否成功。论文指出了一个根本性问题：模型可以同时满足这三项指标，却仍然在中间表示中编码着那些本应被遗忘的记录。换言之，输出层评估通过并不等于遗忘真的发生了。
为弥补这一缺口，作者提出了 RULER，一套在表示层进行验证的度量指标。其中包含两个核心度量：一是依赖原始模型的 oracle 对比式指标 M2，用来衡量遗忘集记录在表示空间中所处的位置，是否与一个“从一开始就没有见过这些记录”的重新训练模型一致；二是不需要重新训练的 oracle-free 指标 M4，它仅凭被遗忘模型自身的内部相似度结构来检测残留信号。
实验结果揭示了输出层评估的盲区。四种近似遗忘方法都通过了输出层评估，但在线性混合效应模型下，M2 在 12 种条件中的 10 种检测到显著残留（p<0.05），而且效应量随着遗忘比例（forget fraction）的增加而增大。第五种方法 Bad Teacher 尽管采用了不同的遗忘机制，同样表现出这些残留。
论文还展示了 M4 的实际用途：它可以作为遗忘前的诊断工具。作者在表格数据、图像、临床文本和人脸身份识别等多种场景中进行了评估；在人脸识别模型上，M4 检测到了身份层面的记忆化（identity-level memorisation），而目前所测试的方法都无法完全抹除这一信号。
总体而言，这篇工作提醒研究者和部署方：机器遗忘的效果不能仅凭输出层指标判断，必须进一步检查模型的内部表示，否则所谓的“已遗忘”可能只是表面现象。