近年、テキスト拡散モデルは自己回帰生成に代わる有望な手法として注目を集めています。自己回帰モデルが単語を逐次的に生成するのに対し、拡散モデルはランダムノイズから反復的なノイズ除去を経てテキストを復元し、高い生成能力と柔軟性を示します。しかし、これらのモデルの安全性制御はまだ十分に研究されていません。既存の安全対策は主に自己回帰モデル向けであり、事後フィルタリングや推論時の介入に依存しており、テキスト拡散モデルでは効果が限定的です。なぜなら、拡散モデルの生成プロセスは高度に非線形で反復的だからです。
この課題に対し、研究者らはテキスト拡散モデルのための安全ガイダンスフレームワークである安全認識デノイザー（Safety-Aware Denoiser, SAD）を提案しました。SADの核となるアイデアは、反復的なノイズ除去プロセスを変更し、最終ステップのテキストサンプルをテキスト空間内の証明可能な安全領域へと導くことです。具体的には、SADはノイズ除去の各ステップで安全制約を導入し、ノイズ予測を調整することで不安全なコンテンツの生成を回避します。この推論時手法により、安全制約をデノイザーに直接組み込むことができ、基盤となる拡散モデルの再トレーニングという計算コストの高い作業を回避し、柔軟で軽量な安全ガイダンスを実現します。開発者は既存の拡散モデルに簡単に安全機能を追加でき、再トレーニングや微調整は不要です。
研究チームは、ハザード分類、記憶攻撃、脱獄攻撃など複数の安全性の側面でSADを評価しました。ハザード分類では、モデルが暴力や憎悪などの危険なテーマに関するテキストを生成するかどうかをテストし、記憶攻撃では訓練データの機密情報を漏洩するかどうかを評価し、脱獄攻撃ではモデルが安全制限を回避するように誘導されるかどうかをテストしました。実験結果は、SADが不安全なコンテンツの生成を大幅に削減しつつ、テキスト生成の品質、多様性、流暢さを維持することを示しています。既存手法と比較して、SADは安全性において顕著な向上を達成し、生成性能にほとんど影響を与えませんでした。例えば、ハザード分類タスクでは、SADは不安全出力率を約50%削減し、ベースラインと同等の生成品質を維持しました。
これらの結果は、ノイズ除去プロセス中の安全ガイダンスが、テキスト拡散モデルに安全性を強制する効果的かつスケーラブルなメカニズムであることを証明しています。本論文はAmman Yusuf氏らによって執筆され、全27ページ、12の図表を含み、関連コードは公開されています。arXivに提出され、機械学習（cs.LG）および人工知能（cs.AI）の分野に分類されています。この研究はテキスト拡散モデルの安全な応用に向けた重要な一歩であり、将来的にコンテンツ生成や対話システムなどのシナリオで重要な役割を果たすことが期待されます。