AI News HubLIVE
站內改寫2 分鐘閱讀

MemPrivacy:在保護用户數據的同時不破壞內存效用的邊緣-雲框架

MemPrivacy是一個由MemTensor、榮耀和同濟大學聯合提出的框架,旨在解決LLM驅動代理中雲內存系統暴露用户隱私的問題。它通過在設備端用類型化佔位符替換敏感數據,再發送到雲端處理,從而在保護隱私的同時保持內存效用。該框架引入了四級隱私分類法(PL1-PL4),並允許用户配置保護閾值。最佳模型MemPrivacy-4B-RL在基準測試中F1得分達85.97%,且內存效用損失控制在1.6%以內。

來源MarkTechPost作者: Asif Razzaq

隨着基於大語言模型(LLM)的代理從研究走向生產,一個設計矛盾日益凸顯:雲託管內存越有用,暴露的用户隱私數據就越多。來自MemTensor(上海)、榮耀設備和同濟大學的研究人員提出了MemPrivacy框架,旨在在不犧牲個性化內存效用的前提下解決這一矛盾。

核心問題:雲內存的隱私風險

在與AI代理交互時,對話常包含健康信息、郵箱地址、財務數據、密碼等敏感細節。在典型的邊緣-雲部署中,用户設備處理輸入,而計算密集型的內存管理和推理發生在雲端。這種架構雖然高效,但意味着原始用户數據會傳輸並持久化在雲系統中。風險並非理論上的:先前研究表明,多輪內存攻擊可誘導隱私泄露,成功率高達69%;針對內存系統的泄漏攻擊成功率可達75%。間接提示注入甚至能操縱代理主動套取用户隱私。敏感內容一旦進入雲日誌、向量數據庫或外部內存存儲,便可能在後續的存儲、檢索和重用階段長期存留。

此前嘗試用掩碼(如 *)替換敏感值來解決問題,但掩碼破壞了語義。例如,若用户請求代理草擬醫生郵件,血壓讀數和郵箱地址都被替換為 *,模型無法有效完成任務。差分隱私和加密保護等更嚴謹的技術雖提供強保障,但難以在交互式內存管線中集成而不降低響應質量。

MemPrivacy的創新做法

MemPrivacy並非掩碼隱私內容,而是在輸入離開本地設備前,將其替換為類型化佔位符(如 <email>、<health> 等)。雲端模型接收語義完整的文本,能正常推理和存儲記憶,但從未看到實際值。當雲端返回包含佔位符的響應時,本地設備從安全數據庫中查找原始值並替換回去,用户看到的是完全連貫的個性化響應。這種設計稱為本地可逆假名化,整個管線分為三個階段:上行脱敏(設備端識別敏感跨度並替換為類型化佔位符)、雲處理(脱敏後的輸入在雲端被處理,佔位符保留足夠語義結構)和下行恢復(雲端響應中的佔位符被本地替換,延遲極低)。

四級隱私分類法

研究團隊提出了四級隱私分類(PL1-PL4):PL1涵蓋一般偏好、習慣和風格選擇,不涉及個人身份,默認不保護;PL2包括可識別個人身份的信息(如姓名、電話、郵箱、地址等);PL3覆蓋高度敏感的PII(如政府證件號、財務賬户、健康記錄、生物特徵等);PL4是最高的憑證與秘密級別(如密碼、PIN碼、會話令牌、API密鑰等)。用户可配置掩碼閾值,例如僅保護PL3和PL4,或全開PL2-PL4,實現細粒度的隱私-效用權衡。

基準測試與模型訓練

為訓練和評估,團隊構建了MemPrivacy-Bench數據集,包含200個合成用户畫像和超過15.5萬隱私實例,覆蓋中英文對話,橫跨7大類場景和23個子類。提取模型基於Qwen3在0.6B、1.7B和4B參數規模上微調,採用監督微調(SFT)後接組相對策略優化(GRPO)。最佳模型MemPrivacy-4B-RL在MemPrivacy-Bench上F1達85.97%,超過Gemini-3.1-Pro(78.41%);最小模型MemPrivacy-0.6B-SFT也達83.09%,優於所有通用模型。在分佈外基準PersonaMem-v2上,MemPrivacy-4B-RL達到94.48% F1。OpenAI的Privacy-Filter在該基準上僅35.50% F1,差距超過50個百分點。

下游內存效用方面,在LangMem、Mem0和Memobase三個系統上測試:保護PL2-PL4內容時,MemPrivacy-Bench上準確率降幅僅0.73%-1.30%,PersonaMem-v2上為0.71%-1.60%;而不可逆掩碼導致降幅高達16.99%-41.87%。

關鍵要點

MemPrivacy通過類型化佔位符在設備端替換敏感數據,雲端內存系統永不接收原始值;提出四級隱私分類法,用户可配置保護閾值;最佳模型在基準測試中大幅超越通用模型;內存效用損失控制在1.6%以內,適合邊緣部署。模型規模從0.6B到4B參數,每條推理時間低於2秒,無明顯延遲。