跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SLAM:语言模型的结构语言激活标记

文章摘要

SLAM是一种新型白盒水印方案,通过稀疏自编码器识别残差流中编码语言结构的方向,在生成时因果引导这些方向,从而在不牺牲文本质量的前提下实现100%检测准确率,质量损失仅为1-2奖励点,远低于现有方法。

来源arXiv Computational Linguistics作者: Fabrice Harel-Canada, Amit Sahai
SLAM:语言模型的结构语言激活标记
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)的水印技术对于版权保护和内容溯源至关重要,但现有水印方案往往在检测精度和文本质量之间面临权衡。大多数方案通过偏置下一个词元的概率分布来嵌入标记,这不可避免地导致可测量的质量损失。为了突破这一瓶颈,Fabrice Harel-Canada和Amit Sahai提出了一种名为SLAM(Structural Linguistic Activation Marking)的新型白盒水印方案。SLAM的核心创新在于,它不再像传统方法那样操纵词频,而是将水印嵌入到文本的结构几何中。具体来说,SLAM利用稀疏自编码器在模型的残差流中识别出那些编码语言结构特征(如语态、时态、从句顺序)的方向,然后在生成文本时对这些方向进行因果引导,从而在词汇选择和语义不受约束的情况下隐藏水印信息。

在Gemma-2 2B和9B模型上的实验结果显示,SLAM在检测准确率上达到了惊人的100%,而质量损失仅为1-2奖励点。相比之下,KGW、EWD和Unigram等现有方法的质量损失高达7.5-11.5奖励点。同时,SLAM生成文本的自然度和多样性与无水印版本几乎无异。不过,SLAM的鲁棒性呈现出互补的特征:它能有效抵抗词级编辑攻击,但对于改变句子结构的释义攻击则较为脆弱——当然,这类攻击本身也会带来额外的质量损失。这一特点恰好与基于词元分布的传统方法相反。

总体而言,SLAM为LLM水印技术开辟了一条全新的道路。它不仅大幅降低了水印对文本质量的影响,还提供了与传统方法迥异的鲁棒性特征,有望在版权保护和内容溯源等实际应用中发挥重要作用。该论文目前正在评审中,共9页,2026年5月6日提交至arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • SLAM通过结构几何而非词频嵌入水印,避免了对文本质量的损害。
  • 在Gemma-2 2B和9B模型上,SLAM实现了100%检测准确率,质量损失仅为1-2奖励点。
  • SLAM能抵抗词级编辑,但易受改变语法的释义攻击。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

SLAM:语言模型的结构语言激活标记 | AI News Hub