大型语言模型(LLM)在多轮对话中面临一种日益增长的威胁:隐藏恶意意图。与通过单个提示直接暴露有害目标不同,攻击者可以将恶意意图分散在多个看似无害的轮次中,逐步累积,最终触发有害行为。即使是最先进的商业模型,配备了强大的安全对齐和外部防护机制,也难以完全抵御这种分布式攻击。近期研究表明,现有防御手段对这种“渐进式”攻击存在明显漏洞。
针对这一挑战,来自多家机构的研究团队提出了一种名为 TurnGate 的响应感知防御方法。核心理念是:在多轮对话中,存在一个“最早致害轮次”——从该轮开始,如果模型交付候选响应,累积的交互就足以使攻击者执行有害行动。TurnGate 的目标就是准确识别这个转折点,并在该点进行精准干预,同时避免过早拒绝那些良性的探索性对话。
为了支持模型的训练与评估,研究者构建了专门的多轮意图数据集(Multi-Turn Intent Dataset, MTID)。该数据集包含了分支攻击展开路径、匹配的良性难负样本,以及每个攻击路径中最早致害轮次的人工标注。MTID 的设计使得训练后的监测器能够学习到有害意图的细微迹象,尤其在攻击行为尚未完全暴露时。
实验结果显示,基于 MTID 训练的 TurnGate 监测器在有害意图检测任务上大幅超越了现有基线方法,同时保持了极低的过度拒绝率。这意味着它不会误伤大量正常对话。此外,TurnGate 展现出了优秀的泛化能力,能够在不重新训练的情况下适应不同的应用领域、攻击者策略以及目标模型。
研究者已将代码在 GitHub 上开源,以推动该领域的进一步研究和实际部署。这项工作的核心贡献在于,它为提升 LLM 在多轮交互场景下的安全性提供了一种有效途径,尤其针对那些通过精心设计的对话流程来绕过现有防护的隐蔽攻击。未来,随着攻击手段的不断演化,这类响应感知的防御机制将变得越来越重要。