机器学习遗忘审计新框架

随着人工智能模型处理的数据量日益庞大且高度敏感，验证机器学习模型是否成功“遗忘”特定数据已成为一项严格的要求。传统的验证方法，如双样本检验，在模型规模增大时面临统计功效下降、需要大量样本以及难以选择合适度量等挑战。为此，Google Research的研究团队在AISTATS 2026上提出了一种名为“正则化f-散度核检验”的新框架。

该框架的核心在于利用f-散度族来度量两个数据分布之间的差异。与传统的最大均值差异（MMD）相比，f-散度能够更精确地捕捉局部异常，例如模型在特定提示下产生的异常输出。框架内置了多种散度，包括卡方散度、KL散度以及专为隐私和遗忘定义的曲棍球棒散度，并通过自适应机制自动选择最适合当前任务的散度和超参数组合，极大地减少了人工调参的工作量。

在实验中，研究团队将该框架应用于差分隐私审计和机器学习遗忘评估。在隐私审计方面，曲棍球棒散度检验与纯差分隐私的数学基础直接对齐，能够以远少于传统方法的样本量检测出隐私泄露。例如，在检测稀疏向量技术机制（SVT3）的违规时，新框架仅需数千样本，而DP-Auditorium需要数百万样本。

在遗忘评估方面，研究团队发现传统的双样本检验容易将因重新训练方式不同而产生的分布差异误判为遗忘失败，产生假阳性。为此，他们提出了一种相对三样本检验：比较遗忘模型与安全重训练模型以及原始模型之间的距离。实验表明，只有精确重训练的模型和随机标签技术通过了检验，而微调、剪枝和选择性突触抑制等方法未能真正遗忘目标数据。

该框架为机器学习行为审计提供了更精确、更灵活且数学上更严谨的工具。研究团队表示，未来工作将探索针对特定任务的最优散度选择，并进一步将理论结论与实证观察相结合。这一成果对于遵守GDPR等隐私法规、提升AI安全性具有重要意义。