大規模言語モデル(LLM)の透かし技術は、著作権保護やコンテンツの追跡に不可欠ですが、既存の手法の多くは検出精度とテキスト品質のトレードオフに悩まされています。ほとんどの方式は次のトークン分布にバイアスをかけることで透かしを埋め込むため、測定可能な品質低下が避けられません。この問題を解決するために、Fabrice Harel-Canada氏とAmit Sahai氏は、SLAM(Structural Linguistic Activation Marking)と呼ばれる新しいホワイトボックス透かし方式を提案しました。SLAMの革新性は、トークン頻度ではなく、テキストの構造幾何学に透かしを書き込む点にあります。具体的には、スパースオートエンコーダを使用して、モデルの残差ストリーム内で言語構造(態、時制、節順序など)を符号化する方向を特定し、テキスト生成時にこれらの方向を因果的に操作します。これにより、語彙選択や意味に制約を与えることなく透かしを埋め込むことができます。
Gemma-2 2Bおよび9Bモデルを用いた評価では、SLAMは100%の検出精度を達成し、品質コストはわずか1-2報酬ポイントでした。比較対象のKGW、EWD、Unigramでは7.5-11.5報酬ポイントもの品質コストが発生しました。また、SLAMが生成するテキストの自然性と多様性は、透かしなしの場合とほぼ同等でした。ただし、SLAMのロバスト性は相補的な特性を示します。単語レベルの編集には強い耐性を示しますが、構文を変更するパラフレーズには脆弱です(ただし、パラフレーズ自体にも品質コストが伴います)。この特性は、トークン分布に基づく従来の手法とは正反対です。
SLAMは、LLM透かし技術に新たな方向性を示すものです。テキスト品質への影響を最小限に抑えつつ、従来とは異なるロバスト性のプロファイルを提供し、著作権保護やコンテンツ追跡といった実用的なアプリケーションでの活用が期待されます。本論文は現在査読中で、全9ページ、2026年5月6日にarXivに提出されました。