近日,arXiv上发布的一篇研究论文《Chainwash: Multi-Step Rewriting Attacks on Diffusion Language Model Watermarks》揭示了扩散语言模型水印方案的严重安全漏洞。与传统的自回归语言模型(如GPT系列)不同,扩散语言模型(如LLaDA 8B)通过以任意顺序对token进行去噪来生成文本,因此现有的统计水印方案无法直接应用。针对这一缺口,Gloaguen等人近期提出了一种针对LLaDA 8B Instruct的水印方案,并声称真阳性检测率超过99%。然而,这篇新研究通过实验表明,只需对水印文本进行多次重写,即可轻松绕过检测。
实验中,研究人员使用相同的原水印配置,在5个WaterBench领域生成了1605个水印文本(每个约300个token)。随后,他们使用了四个不同参数规模(1.5B到8B)的开源模型对这些文本进行重写,这些模型均不知道水印密钥。重写风格包括五种:复述、人性化、简化、学术化和摘要扩展。每种风格最多链式重写5次,总共生成了160,500个重写文本。
结果显示,在标准显著性阈值下,原始输出的水印检测率为87.9%。但经过一次重写后,检测率大幅下降至14%到41%之间,具体取决于重写器和风格。当链式重写达到五次时,检测率降至惨淡的4.86%,这意味着原来被检测出的文本中有94.76%不再被标记。值得注意的是,仅三次重写后,检测器分数已从水印基线向零分布下降了86%。
这一发现表明,多次重写是一种远强于单次重写的攻击手段,且该结论在所有测试的重写器上均一致成立。该研究对当前水印方案的安全性提出了严峻挑战,并强调了开发对此类攻击具有鲁棒性的更强水印方法的紧迫性。