大規模言語モデル(LLM)は安全性訓練を受けていても、巧妙に作られた「ジェイルブレイク」プロンプトによって有害な要求に応答してしまうことがある。これまでの研究では、モデルの中間表現を分析し、「有害性」や「拒否」といった概念を符号化する方向を特定することで、すべてのジェイルブレイクを大域的に説明しようとしてきた(例:有害性の低減)。しかし、実際には異なるジェイルブレイク戦略は異なる中間概念を強めたり抑制したりする可能性があり、同じ戦略がすべての有害要求カテゴリ(暴力 vs サイバー攻撃など)に有効とは限らない。そこでShubham Kumar氏とNarendra Ahuja氏は、特定のジェイルブレイク成功を説明するLOCA(Local, CAusal Explanations)法を提案する。
LOCAは、ジェイルブレイクが成功した要求に対して、モデルが拒否応答を出力するように因果的に誘導できる最小の解釈可能な中間表現変化の集合を特定する。GemmaおよびLlamaチャットモデルを用いた大規模ジェイルブレイクベンチマークの評価では、LOCAは平均6回の変更で拒否を誘発できたのに対し、従来手法は20回の変更後も失敗することが多かった。この結果は、LOCAがLLMのジェイルブレイク成功に関する機構的・局所的説明への一歩であることを示している。コードは後日公開予定。LOCAの利点は、従来の大域的手法では捉えられない個別のジェイルブレイク戦略や要求カテゴリの違いを考慮できる点にある。これにより、より精密な安全対策の設計が可能となり、将来の自律的なLLMシステムの安全性向上に貢献することが期待される。