大型語言模型(LLM)的能力不斷增強,其安全部署問題也日益受到關注。儘管多種對齊策略旨在限制有害行為,但這些防禦措施仍可能被精心設計的對抗性提示所繞過。最近,一篇發表在arXiv上的預印本(arXiv:2605.01034)提出了一個理論框架,將攻擊者與防禦者之間的對抗形式化為一個博弈過程。該框架由Xinbo Wu、Huan Zhang、Abhishek Umrawal和Lav R. Varshney共同提出,旨在為理解LLM對抗攻擊的本質提供新的理論視角。
在該框架中,研究人員設計了一種理論上的最佳響應攻擊策略,並證明其與許多現有對抗提示方法密切相關。透過分析博弈的均衡特性,他們揭示了攻擊者固有的優勢:在當前博弈結構中,攻擊者天然處於有利地位。基於這一理論分析,他們進一步推匯出了一種理論上最優的防禦策略。
實驗部分,研究人員評估了該最優攻擊策略的實際例項,並在多種LLM和基準測試中觀察到其效能優於現有的對抗提示方法。這些實驗涵蓋了不同的模型和評估標準,證實了理論方法的有效性。這項研究不僅為設計更魯棒的防禦機制奠定了基礎,還強調了在LLM安全中考慮博弈論方法的重要性。透過數學形式化,該工作為後續研究提供了清晰的理論指導,有望推動更安全的AI系統發展。