跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

SLAM:語言模型的結構語言啟用標記

文章摘要

SLAM是一種新型白盒水印方案,透過稀疏自編碼器識別殘差流中編碼語言結構的方向,在生成時因果引導這些方向,從而在不犧牲文本質量的前提下實現100%檢測準確率,質量損失僅為1-2獎勵點,遠低於現有方法。

來源arXiv Computational Linguistics作者: Fabrice Harel-Canada, Amit Sahai
SLAM:語言模型的結構語言啟用標記
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)的水印技術對於版權保護和內容溯源至關重要,但現有水印方案往往在檢測精度和文本質量之間面臨權衡。大多數方案透過偏置下一個詞元的機率分佈來嵌入標記,這不可避免地導致可測量的質量損失。為了突破這一瓶頸,Fabrice Harel-Canada和Amit Sahai提出了一種名為SLAM(Structural Linguistic Activation Marking)的新型白盒水印方案。SLAM的核心創新在於,它不再像傳統方法那樣操縱詞頻,而是將水印嵌入到文本的結構幾何中。具體來說,SLAM利用稀疏自編碼器在模型的殘差流中識別出那些編碼語言結構特徵(如語態、時態、從句順序)的方向,然後在生成文本時對這些方向進行因果引導,從而在詞彙選擇和語義不受約束的情況下隱藏水印資訊。

在Gemma-2 2B和9B模型上的實驗結果顯示,SLAM在檢測準確率上達到了驚人的100%,而質量損失僅為1-2獎勵點。相比之下,KGW、EWD和Unigram等現有方法的質量損失高達7.5-11.5獎勵點。同時,SLAM生成文本的自然度和多樣性與無水印版本幾乎無異。不過,SLAM的魯棒性呈現出互補的特徵:它能有效抵抗詞級編輯攻擊,但對於改變句子結構的釋義攻擊則較為脆弱——當然,這類攻擊本身也會帶來額外的質量損失。這一特點恰好與基於詞元分佈的傳統方法相反。

總體而言,SLAM為LLM水印技術開闢了一條全新的道路。它不僅大幅降低了水印對文本質量的影響,還提供了與傳統方法迥異的魯棒性特徵,有望在版權保護和內容溯源等實際應用中發揮重要作用。該論文目前正在評審中,共9頁,2026年5月6日提交至arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • SLAM透過結構幾何而非詞頻嵌入水印,避免了對文本質量的損害。
  • 在Gemma-2 2B和9B模型上,SLAM實現了100%檢測準確率,質量損失僅為1-2獎勵點。
  • SLAM能抵抗詞級編輯,但易受改變語法的釋義攻擊。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。