AI中的“聯邦遺忘”是提升數據隱私還是製造新的網絡安全風險？

隨着人工智能（AI）能力呈指數級增長，用户數據隱私的擔憂也隨之加劇。全球越來越多的組織開始採用一種名為“聯邦遺忘”的技術，該技術允許在不集中敏感數據的情況下進行AI訓練。這使得醫院、銀行和政府機構能夠協作，同時將數據保留在本地——這被視為隱私保護方面的一項重大進步。

聯邦遺忘承諾可以從訓練好的AI系統中刪除用户數據。例如，醫院可以要求其AI系統遺忘某位患者的數據。在歐盟，這被定義為“被遺忘權”。類似的數據刪除權在全球範圍內存在，但法律強度和技術解釋有所不同。

然而，如果遺忘請求本身不可信呢？我們的研究表明，雖然聯邦遺忘似乎是數據權利的自然延伸，但它也引入了新的隱藏安全風險，破壞了我們對數字世界的信任。

新的隱蔽漏洞

在聯邦遺忘過程中，參與者在個人數據上訓練本地模型，然後將這些模型的更新發送到中央服務器。服務器聚合這些更新以學習一個單一的共享系統，使模型能夠受益於數據規模和範圍的廣度。

研究人員已知這些聯邦系統可能受到數據投毒攻擊的影響，攻擊者通過偏置他們用於訓練本地模型的數據來改變共享模型的性能。投毒攻擊可以創建僅在特定條件下激活的隱蔽漏洞（也稱為“後門”）。

聯邦遺忘為這一威脅引入了新的微妙維度。攻擊者可以首先將有害模式注入模型，然後提交刪除數據的請求。如果遺忘過程不完善——正如當前許多方法那樣——攻擊的可見痕跡可能會消失，而隱藏的影響依然存在。

新的安全盲點

這個問題創造了一種新興的、跨部門的國家安全漏洞，容易被忽視。

在一個假設場景中，重複的遺忘請求可能會逐漸降低模型性能——這是一種緩慢且難以檢測的破壞。與傳統網絡攻擊不同，這不會導致模型立即失效，但會隨着時間的推移侵蝕其可靠性。

在另一種情況下，精心選擇時間的數據刪除可能會扭曲結果。例如，金融風險模型可以通過在關鍵時刻刪除某些數據貢獻而被微妙地改變。

這些風險因聯邦系統的本質而被放大。由於數據保持分佈式，通常難以瞭解單個貢獻對最終模型的影響。這導致了一個安全盲點——一種旨在增強隱私的機制也可能削弱系統完整性。

當前解決方案為何不足

許多聯邦遺忘技術的設計注重效率。這些技術嘗試近似模擬數據影響的移除，而不是從頭重新訓練模型——後者成本高昂。儘管實用，但這種方法有侷限性。

新出現的證據表明，機器學習模型即使在嘗試刪除數據後仍可能保留複雜模式，在對抗性環境中，有害影響即使在“遺忘”後也可能持續存在。

同時，幾乎沒有保障措施來驗證遺忘請求本身是否合法。這一差距不僅是技術性的，也是結構性的，可能導致多種安全漏洞。

遺忘是一個安全問題

聯邦遺忘通常被定義為隱私特性，但這種定義是不完整的。實際上，從模型中刪除數據會改變其行為——有時以不可預測的方式。這使得遺忘成為一種安全敏感的操作，而不僅僅是數據管理工具。

與其他關鍵系統操作一樣，聯邦遺忘應受到驗證、審計和監控。這些額外措施可能包括：驗證遺忘請求的來源；跟蹤模型行為在數據刪除後的變化；檢測重複或可疑請求；設計確保完全移除有害影響的方法。

AI治理的關鍵時刻

AI系統越來越多地用於影響人們生活的決策——從醫療診斷到金融審批。在這裏，隱私和可靠性都很重要。

聯邦遺忘正位於這個交叉點。它旨在保護數據權利，但可能引入未被廣泛理解的風險。如果被忽視，旨在增強信任的系統可能會被削弱。

加拿大正處於塑造AI系統治理方式的重要關頭。圍繞數據刪除、問責制和透明度的政策正在迅速發展。

聯邦遺忘很可能成為其中的一部分。隨着它的採用，必須像對待其他安全關鍵機制一樣給予同等程度的審查。

挑戰不再是僅僅讓AI忘記數據，而是確保在遺忘過程中，我們沒有讓更危險的東西留存下來。