AI News HubLIVE
站内改写2 分钟阅读

MemPrivacy:在保护用户数据的同时不破坏内存效用的边缘-云框架

MemPrivacy是一个由MemTensor、荣耀和同济大学联合提出的框架,旨在解决LLM驱动代理中云内存系统暴露用户隐私的问题。它通过在设备端用类型化占位符替换敏感数据,再发送到云端处理,从而在保护隐私的同时保持内存效用。该框架引入了四级隐私分类法(PL1-PL4),并允许用户配置保护阈值。最佳模型MemPrivacy-4B-RL在基准测试中F1得分达85.97%,且内存效用损失控制在1.6%以内。

来源MarkTechPost作者: Asif Razzaq

随着基于大语言模型(LLM)的代理从研究走向生产,一个设计矛盾日益凸显:云托管内存越有用,暴露的用户隐私数据就越多。来自MemTensor(上海)、荣耀设备和同济大学的研究人员提出了MemPrivacy框架,旨在在不牺牲个性化内存效用的前提下解决这一矛盾。

核心问题:云内存的隐私风险

在与AI代理交互时,对话常包含健康信息、邮箱地址、财务数据、密码等敏感细节。在典型的边缘-云部署中,用户设备处理输入,而计算密集型的内存管理和推理发生在云端。这种架构虽然高效,但意味着原始用户数据会传输并持久化在云系统中。风险并非理论上的:先前研究表明,多轮内存攻击可诱导隐私泄露,成功率高达69%;针对内存系统的泄漏攻击成功率可达75%。间接提示注入甚至能操纵代理主动套取用户隐私。敏感内容一旦进入云日志、向量数据库或外部内存存储,便可能在后续的存储、检索和重用阶段长期存留。

此前尝试用掩码(如 *)替换敏感值来解决问题,但掩码破坏了语义。例如,若用户请求代理草拟医生邮件,血压读数和邮箱地址都被替换为 *,模型无法有效完成任务。差分隐私和加密保护等更严谨的技术虽提供强保障,但难以在交互式内存管线中集成而不降低响应质量。

MemPrivacy的创新做法

MemPrivacy并非掩码隐私内容,而是在输入离开本地设备前,将其替换为类型化占位符(如 <email>、<health> 等)。云端模型接收语义完整的文本,能正常推理和存储记忆,但从未看到实际值。当云端返回包含占位符的响应时,本地设备从安全数据库中查找原始值并替换回去,用户看到的是完全连贯的个性化响应。这种设计称为本地可逆假名化,整个管线分为三个阶段:上行脱敏(设备端识别敏感跨度并替换为类型化占位符)、云处理(脱敏后的输入在云端被处理,占位符保留足够语义结构)和下行恢复(云端响应中的占位符被本地替换,延迟极低)。

四级隐私分类法

研究团队提出了四级隐私分类(PL1-PL4):PL1涵盖一般偏好、习惯和风格选择,不涉及个人身份,默认不保护;PL2包括可识别个人身份的信息(如姓名、电话、邮箱、地址等);PL3覆盖高度敏感的PII(如政府证件号、财务账户、健康记录、生物特征等);PL4是最高的凭证与秘密级别(如密码、PIN码、会话令牌、API密钥等)。用户可配置掩码阈值,例如仅保护PL3和PL4,或全开PL2-PL4,实现细粒度的隐私-效用权衡。

基准测试与模型训练

为训练和评估,团队构建了MemPrivacy-Bench数据集,包含200个合成用户画像和超过15.5万隐私实例,覆盖中英文对话,横跨7大类场景和23个子类。提取模型基于Qwen3在0.6B、1.7B和4B参数规模上微调,采用监督微调(SFT)后接组相对策略优化(GRPO)。最佳模型MemPrivacy-4B-RL在MemPrivacy-Bench上F1达85.97%,超过Gemini-3.1-Pro(78.41%);最小模型MemPrivacy-0.6B-SFT也达83.09%,优于所有通用模型。在分布外基准PersonaMem-v2上,MemPrivacy-4B-RL达到94.48% F1。OpenAI的Privacy-Filter在该基准上仅35.50% F1,差距超过50个百分点。

下游内存效用方面,在LangMem、Mem0和Memobase三个系统上测试:保护PL2-PL4内容时,MemPrivacy-Bench上准确率降幅仅0.73%-1.30%,PersonaMem-v2上为0.71%-1.60%;而不可逆掩码导致降幅高达16.99%-41.87%。

关键要点

MemPrivacy通过类型化占位符在设备端替换敏感数据,云端内存系统永不接收原始值;提出四级隐私分类法,用户可配置保护阈值;最佳模型在基准测试中大幅超越通用模型;内存效用损失控制在1.6%以内,适合边缘部署。模型规模从0.6B到4B参数,每条推理时间低于2秒,无明显延迟。