跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

遲一步即失:應對多輪對話中隱藏惡意意圖的響應感知防禦

文章摘要

大型語言模型在多輪對話中面臨隱藏惡意意圖的攻擊威脅。攻擊者將惡意目標分散在多個看似無害的輪次中,從而繞過現有安全對齊和防護措施。本研究提出基於輪次的檢測方法TurnGate,透過識別最早使累積互動足以實施惡意行為的輪次來干預,並構建了多輪意圖資料集(MTID)以支援訓練與評估。實驗表明,TurnGate在有害意圖檢測上顯著優於現有基線,同時保持低過度拒絕率,並具備跨領域、攻擊管道和目標模型的泛化能力。

來源arXiv Computational Linguistics作者: Xinjie Shen, Rongzhe Wei, Peizhi Niu, Haoyu Wang, Ruihan Wu, Eli Chien, Bo Li, Pin-Yu Chen, Pan Li
遲一步即失:應對多輪對話中隱藏惡意意圖的響應感知防禦
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)在多輪對話中面臨一種日益增長的威脅:隱藏惡意意圖。與透過單個提示直接暴露有害目標不同,攻擊者可以將惡意意圖分散在多個看似無害的輪次中,逐步累積,最終觸發有害行為。即使是最先進的商業模型,配備了強大的安全對齊和外部防護機制,也難以完全抵禦這種分散式攻擊。近期研究表明,現有防禦手段對這種“漸進式”攻擊存在明顯漏洞。

針對這一挑戰,來自多家機構的研究團隊提出了一種名為 TurnGate 的響應感知防禦方法。核心理念是:在多輪對話中,存在一個“最早致害輪次”——從該輪開始,如果模型交付候選響應,累積的互動就足以使攻擊者執行有害行動。TurnGate 的目標就是準確識別這個轉折點,並在該點進行精準干預,同時避免過早拒絕那些良性的探索性對話。

為了支援模型的訓練與評估,研究者構建了專門的多輪意圖資料集(Multi-Turn Intent Dataset, MTID)。該資料集包含了分支攻擊展開路徑、匹配的良性難負樣本,以及每個攻擊路徑中最早致害輪次的人工標註。MTID 的設計使得訓練後的監測器能夠學習到有害意圖的細微跡象,尤其在攻擊行為尚未完全暴露時。

實驗結果顯示,基於 MTID 訓練的 TurnGate 監測器在有害意圖檢測任務上大幅超越了現有基線方法,同時保持了極低的過度拒絕率。這意味著它不會誤傷大量正常對話。此外,TurnGate 展現出了優秀的泛化能力,能夠在不重新訓練的情況下適應不同的應用領域、攻擊者策略以及目標模型。

研究者已將程式碼在 GitHub 上開源,以推動該領域的進一步研究和實際部署。這項工作的核心貢獻在於,它為提升 LLM 在多輪互動場景下的安全性提供了一種有效途徑,尤其針對那些透過精心設計的對話流程來繞過現有防護的隱蔽攻擊。未來,隨著攻擊手段的不斷演化,這類響應感知的防禦機制將變得越來越重要。

展開要點與分析

文章情報

工程師進階

要點

  • 多輪對話中,攻擊者可將惡意意圖分散在多個輪次中,規避單輪安全檢查。
  • TurnGate檢測最早的危險輪次,在累積互動足以引發危害時進行干預,避免過早拒絕良性對話。
  • 構建的MTID資料集包含分支攻擊路徑、匹配的良性難負樣本及最早致害輪次標註,支援模型訓練。
  • TurnGate在有害意圖檢測上超越現有方法,且泛化能力強,已開源。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

遲一步即失:應對多輪對話中隱藏惡意意圖的響應感知防禦 | AI News Hub