本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

モデルは安全表現を共有するか?安全な視覚生成のためのクロスモデルステアリング

記事の要約

本研究は、ソースLLMで学習した安全方向をターゲット生成器に転送する初のクロスモデル安全ステアリングフレームワークを提案する。ターゲット側の不安全データを一切使用せず、ASR低減と生成品質のトレードオフにおいてネイティブ学習に匹敵する性能を達成した。

ソースarXiv Computer Vision著者: Tobia Poppi, Silvia Cappelletti, Sara Sarto, Florian Schiffers, Garin Kessler, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara
モデルは安全表現を共有するか?安全な視覚生成のためのクロスモデルステアリング
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

生成モデルの安全制御は中心的な課題であり続けているが、既存のアプローチはほとんどがモデル固有であり、新しいアーキテクチャごとに再トレーニングや調整された介入が必要となる。Tobia Poppi氏ら8名によるarXiv論文「Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation」は、安全を一度学習すれば異種の生成器間で再利用できるポータブルな潜在方向として表現できるかという根本的な問いを投げかける。

この問いに答えるため、研究者らは初のクロスモデル安全ステアリングフレームワークを導入した。このフレームワークでは、まずソース大規模言語モデル(LLM)において、安全なプロンプトと不安全なプロンプトのペアから安全方向を推定する。次に、良性データのみで適合させた軽量なアライメントを通じて、この方向をターゲット生成器に転送し、推論時に適用する。重要な点は、パイプラインがターゲット側の不安全データに一切アクセスしないことである。これにより、安全が共有表現幾何学を通じて転送可能かどうかを隔離して検証できる。

単一のグローバル方向に加えて、論文はカテゴリ固有の安全行動を捉えるマルチベクトル拡張も提案しており、より選択的な制御を可能にする。研究者らはテキストから画像、テキストから動画への生成において、多様なソース-ターゲットモデルペアで評価を行った。その結果、転送された安全方向は、ターゲットモデル上で不安全データを用いてネイティブに学習した方向と同等の攻撃成功率(ASR)低減とCLIPスコア/FIDのトレードオフを達成し、しかもターゲット側の不安全データを必要としないことが示された。これは、安全の向上が生成品質を犠牲にしないことを意味する。

これらの結果は、安全関連の振る舞いが純粋にモデルローカルなものではなく、モデル間で持続する潜在方向を通じて制御できるというモジュール的な安全観を示唆している。これは、ターゲット側の不安全データを必要としない、軽量で再利用可能な安全メカニズムへの新たな道を開くものである。論文は2026年6月3日に提出され、プロジェクトページも公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 安全は異種生成器間で再利用可能なポータブル潜在方向として表現できる。
  • 転送された安全方向は、ターゲット側の不安全データなしで、ASR低減とCLIP/FIDのトレードオフにおいてネイティブ方向に匹敵する。
  • マルチベクトル拡張によりカテゴリ別の安全行動を捉え、より選択的な制御が可能になる。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。