近日,arXiv上釋出的一篇研究論文《Chainwash: Multi-Step Rewriting Attacks on Diffusion Language Model Watermarks》揭示了擴散語言模型水印方案的嚴重安全漏洞。與傳統的自迴歸語言模型(如GPT系列)不同,擴散語言模型(如LLaDA 8B)透過以任意順序對token進行去噪來生成文本,因此現有的統計水印方案無法直接應用。針對這一缺口,Gloaguen等人近期提出了一種針對LLaDA 8B Instruct的水印方案,並聲稱真陽性檢測率超過99%。然而,這篇新研究透過實驗表明,只需對水印文本進行多次重寫,即可輕鬆繞過檢測。
實驗中,研究人員使用相同的原水印配置,在5個WaterBench領域生成了1605個水印文本(每個約300個token)。隨後,他們使用了四個不同引數規模(1.5B到8B)的開源模型對這些文本進行重寫,這些模型均不知道水印金鑰。重寫風格包括五種:複述、人性化、簡化、學術化和摘要擴充套件。每種風格最多鏈式重寫5次,總共生成了160,500個重寫文本。
結果顯示,在標準顯著性閾值下,原始輸出的水印檢測率為87.9%。但經過一次重寫後,檢測率大幅下降至14%到41%之間,具體取決於重寫器和風格。當鏈式重寫達到五次時,檢測率降至慘淡的4.86%,這意味著原來被檢測出的文本中有94.76%不再被標記。值得注意的是,僅三次重寫後,檢測器分數已從水印基線向零分佈下降了86%。
這一發現表明,多次重寫是一種遠強於單次重寫的攻擊手段,且該結論在所有測試的重寫器上均一致成立。該研究對當前水印方案的安全性提出了嚴峻挑戰,並強調了開發對此類攻擊具有魯棒性的更強水印方法的緊迫性。