大規模言語モデル（LLM）は、マルチターン対話において新たな脅威に直面しています。それは、攻撃者が悪意ある意図を一つのプロンプトで露呈させるのではなく、複数の一見無害なターンに分散させることで、安全性アライメントや外部ガードレールを回避する手法です。最近の研究では、高度なガードレールを備えた最新の商用モデルでさえ、これらの攻撃に対して脆弱であることが示されています。
この問題に対処するため、研究チームはTurnGateと呼ばれる応答認識型の防御手法を提案しました。その中心的なアイデアは、累積的な相互作用が有害な行動を可能にする最も早いターン（「有害化転換点」）を検出し、そこで正確に介入することです。これにより、良性の探索的な会話を時期尚早に拒否することなく、本当に危険な瞬間にのみ遮断できます。
トレーニングと評価を支援するために、研究者らはマルチターン意図データセット（MTID）を構築しました。MTIDには、分岐する攻撃シナリオ、マッチした良性のハードネガティブ例、および各攻撃経路における最も早い有害化ターンのアノテーションが含まれています。このデータセットにより、モデルは有害意図の微妙な兆候を学習できます。
実験では、MTIDで訓練されたTurnGateモニターが、既存のベースラインを大幅に上回る有害意図検出性能を示し、同時に低い過剰拒否率を維持しました。また、TurnGateは異なるドメイン、攻撃パイプライン、対象モデルに対して優れた汎化能力を示しました。
研究者らはコードをGitHubで公開しており、今後の研究と実用化が期待されます。この研究は、LLMの安全性向上、特に複数ターンにわたる巧妙な攻撃に対する防御において重要な進展です。