AI中的“联邦遗忘”是提升数据隐私还是制造新的网络安全风险？

随着人工智能（AI）能力呈指数级增长，用户数据隐私的担忧也随之加剧。全球越来越多的组织开始采用一种名为“联邦遗忘”的技术，该技术允许在不集中敏感数据的情况下进行AI训练。这使得医院、银行和政府机构能够协作，同时将数据保留在本地——这被视为隐私保护方面的一项重大进步。

联邦遗忘承诺可以从训练好的AI系统中删除用户数据。例如，医院可以要求其AI系统遗忘某位患者的数据。在欧盟，这被定义为“被遗忘权”。类似的数据删除权在全球范围内存在，但法律强度和技术解释有所不同。

然而，如果遗忘请求本身不可信呢？我们的研究表明，虽然联邦遗忘似乎是数据权利的自然延伸，但它也引入了新的隐藏安全风险，破坏了我们对数字世界的信任。

新的隐蔽漏洞

在联邦遗忘过程中，参与者在个人数据上训练本地模型，然后将这些模型的更新发送到中央服务器。服务器聚合这些更新以学习一个单一的共享系统，使模型能够受益于数据规模和范围的广度。

研究人员已知这些联邦系统可能受到数据投毒攻击的影响，攻击者通过偏置他们用于训练本地模型的数据来改变共享模型的性能。投毒攻击可以创建仅在特定条件下激活的隐蔽漏洞（也称为“后门”）。

联邦遗忘为这一威胁引入了新的微妙维度。攻击者可以首先将有害模式注入模型，然后提交删除数据的请求。如果遗忘过程不完善——正如当前许多方法那样——攻击的可见痕迹可能会消失，而隐藏的影响依然存在。

新的安全盲点

这个问题创造了一种新兴的、跨部门的国家安全漏洞，容易被忽视。

在一个假设场景中，重复的遗忘请求可能会逐渐降低模型性能——这是一种缓慢且难以检测的破坏。与传统网络攻击不同，这不会导致模型立即失效，但会随着时间的推移侵蚀其可靠性。

在另一种情况下，精心选择时间的数据删除可能会扭曲结果。例如，金融风险模型可以通过在关键时刻删除某些数据贡献而被微妙地改变。

这些风险因联邦系统的本质而被放大。由于数据保持分布式，通常难以了解单个贡献对最终模型的影响。这导致了一个安全盲点——一种旨在增强隐私的机制也可能削弱系统完整性。

当前解决方案为何不足

许多联邦遗忘技术的设计注重效率。这些技术尝试近似模拟数据影响的移除，而不是从头重新训练模型——后者成本高昂。尽管实用，但这种方法有局限性。

新出现的证据表明，机器学习模型即使在尝试删除数据后仍可能保留复杂模式，在对抗性环境中，有害影响即使在“遗忘”后也可能持续存在。

同时，几乎没有保障措施来验证遗忘请求本身是否合法。这一差距不仅是技术性的，也是结构性的，可能导致多种安全漏洞。

遗忘是一个安全问题

联邦遗忘通常被定义为隐私特性，但这种定义是不完整的。实际上，从模型中删除数据会改变其行为——有时以不可预测的方式。这使得遗忘成为一种安全敏感的操作，而不仅仅是数据管理工具。

与其他关键系统操作一样，联邦遗忘应受到验证、审计和监控。这些额外措施可能包括：验证遗忘请求的来源；跟踪模型行为在数据删除后的变化；检测重复或可疑请求；设计确保完全移除有害影响的方法。

AI治理的关键时刻

AI系统越来越多地用于影响人们生活的决策——从医疗诊断到金融审批。在这里，隐私和可靠性都很重要。

联邦遗忘正位于这个交叉点。它旨在保护数据权利，但可能引入未被广泛理解的风险。如果被忽视，旨在增强信任的系统可能会被削弱。

加拿大正处于塑造AI系统治理方式的重要关头。围绕数据删除、问责制和透明度的政策正在迅速发展。

联邦遗忘很可能成为其中的一部分。随着它的采用，必须像对待其他安全关键机制一样给予同等程度的审查。

挑战不再是仅仅让AI忘记数据，而是确保在遗忘过程中，我们没有让更危险的东西留存下来。