跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

迟一步即失:应对多轮对话中隐藏恶意意图的响应感知防御

文章摘要

大型语言模型在多轮对话中面临隐藏恶意意图的攻击威胁。攻击者将恶意目标分散在多个看似无害的轮次中,从而绕过现有安全对齐和防护措施。本研究提出基于轮次的检测方法TurnGate,通过识别最早使累积交互足以实施恶意行为的轮次来干预,并构建了多轮意图数据集(MTID)以支持训练与评估。实验表明,TurnGate在有害意图检测上显著优于现有基线,同时保持低过度拒绝率,并具备跨领域、攻击管道和目标模型的泛化能力。

来源arXiv Computational Linguistics作者: Xinjie Shen, Rongzhe Wei, Peizhi Niu, Haoyu Wang, Ruihan Wu, Eli Chien, Bo Li, Pin-Yu Chen, Pan Li
迟一步即失:应对多轮对话中隐藏恶意意图的响应感知防御
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)在多轮对话中面临一种日益增长的威胁:隐藏恶意意图。与通过单个提示直接暴露有害目标不同,攻击者可以将恶意意图分散在多个看似无害的轮次中,逐步累积,最终触发有害行为。即使是最先进的商业模型,配备了强大的安全对齐和外部防护机制,也难以完全抵御这种分布式攻击。近期研究表明,现有防御手段对这种“渐进式”攻击存在明显漏洞。

针对这一挑战,来自多家机构的研究团队提出了一种名为 TurnGate 的响应感知防御方法。核心理念是:在多轮对话中,存在一个“最早致害轮次”——从该轮开始,如果模型交付候选响应,累积的交互就足以使攻击者执行有害行动。TurnGate 的目标就是准确识别这个转折点,并在该点进行精准干预,同时避免过早拒绝那些良性的探索性对话。

为了支持模型的训练与评估,研究者构建了专门的多轮意图数据集(Multi-Turn Intent Dataset, MTID)。该数据集包含了分支攻击展开路径、匹配的良性难负样本,以及每个攻击路径中最早致害轮次的人工标注。MTID 的设计使得训练后的监测器能够学习到有害意图的细微迹象,尤其在攻击行为尚未完全暴露时。

实验结果显示,基于 MTID 训练的 TurnGate 监测器在有害意图检测任务上大幅超越了现有基线方法,同时保持了极低的过度拒绝率。这意味着它不会误伤大量正常对话。此外,TurnGate 展现出了优秀的泛化能力,能够在不重新训练的情况下适应不同的应用领域、攻击者策略以及目标模型。

研究者已将代码在 GitHub 上开源,以推动该领域的进一步研究和实际部署。这项工作的核心贡献在于,它为提升 LLM 在多轮交互场景下的安全性提供了一种有效途径,尤其针对那些通过精心设计的对话流程来绕过现有防护的隐蔽攻击。未来,随着攻击手段的不断演化,这类响应感知的防御机制将变得越来越重要。

展开要点与分析

文章情报

工程师进阶

要点

  • 多轮对话中,攻击者可将恶意意图分散在多个轮次中,规避单轮安全检查。
  • TurnGate检测最早的危险轮次,在累积交互足以引发危害时进行干预,避免过早拒绝良性对话。
  • 构建的MTID数据集包含分支攻击路径、匹配的良性难负样本及最早致害轮次标注,支持模型训练。
  • TurnGate在有害意图检测上超越现有方法,且泛化能力强,已开源。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。