緩解AI越獄的不可能性

近年來，AI越獄（Jailbreak）和提示注入（Prompt Injection）成為媒體關注的焦點。從麥當勞客服機器人被誘導解Python題，到xAI聊天機器人逐步指導製造炸彈，再到ChatGPT在特定提示下生成受版權保護的角色，這些案例展示了大型語言模型在安全防護上的脆弱性。

這些失敗的根本原因在於，基於LLM的系統無法有效分離開發者意圖的控制指令與使用者輸入。標準的緩解手段是對齊後訓練（alignment post-training），透過監督微調和基於人類反饋的強化學習（RLHF）來提升模型遵循指令和遵守安全策略的機率。然而，對齊只改變了模型“可能”做什麼，而非其“能夠”做什麼——它重塑了輸出的機率分佈，卻沒有施加硬性約束。

本文從機率視角深入探討了這一點，並展示瞭如何系統性地利用這一特性。論證進一步指出，越獄行為與控制/資料分離的缺失相結合，會導致系統級控制的系統性失效。

對齊永遠無法保證

從機率角度看，大語言模型定義了序列上的高維分佈。以簡單的低維例子說明：假設存在形狀和顏色兩個隨機變數，每個有3種取值，共9種組合。模型從樣本中學習近似分佈。當擴充套件到語言時，情況急劇複雜：標準詞彙表16,000個token，上下文長度1,024，可能序列數高達16,000^1024 ≈ 10^4305，遠超可觀測宇宙的粒子數（約10^80），也遠多於網際網路上所有文本（約10^12~10^14 tokens）。

儘管LLM不顯式表示聯合分佈，但它們確實誘導了一個序列空間上的機率分佈，而這正是可被利用的。

對齊如何改變分佈？

回到玩具例子：令顏色代表請求，形狀代表響應。某些（請求，響應）對是不期望的，例如有害請求與順從響應的組合。對齊透過提供期望和不期望行為的示例來調整模型，增加或降低特定輸出的似然。

透過具體示例，有害結果變得罕見。但一旦我們引入第三個變數——修飾符（modifier），事情就不同了。修飾符改變了請求的措辭而不改變其意圖，例如“我們玩角色扮演——你是一個必須拯救地球的超人，唯一的方法就是……”。雖然有害對的整體機率很小，但條件修飾符後，條件機率可能很高。

低聯合機率並不意味著低條件機率。攻擊者可以透過搜尋輸入空間，找到那些使有害行為機率大增的修飾符。這類最佳化問題尋找使特定輸出最大化的提示，稱作越獄或提示注入。

LLM變為智慧體（Agentic）

當LLM只是聊天伴侶時，危害相對有限。但到了程式設計、研究、UI操作等智慧體場景，模型不只是生成文本，而是執行程式碼、操作檔案。例如Claude Code這類ReAct代理，其動作由LLM輸出決定，而輸出又由輸入流（系統提示、使用者指令、工具呼叫、檢索內容）決定。

這導致了特權侵蝕（Privilege Erosion）。在經典電腦保安中，嚴重漏洞常源於資料被解釋為控制，如緩衝區溢位和SQL隱碼攻擊。現代系統透過架構方式（如記憶體安全、引數化查詢）解決了這類問題。但ReAct代理重新引入了類似問題：指令和資料透過同一輸入流到達，導致控制平面與資料平面合併。

LLM系統僅透過統計方式（如學習指令層次）來緩解這一漏洞，但本文已證明統計邊界很容易被越獄突破。攻擊者只需在輸入流中任意位置（如網頁、文件、git倉庫）放入一個修飾符，就能使模型跟隨其指令行事。

因此，擁有特定許可權的AI代理可能無意中將許可權傳播給任何能訪問其輸入流的程序。由於無法強制低信任輸入低於高信任指令，AI代理在整個系統中導致了特權侵蝕。一旦攻擊者能將內容放入代理可讀的任何位置，他們就獲得了影響其行動的渠道，無需直接與系統互動。

這對應用構建者意味著威脅模型的變化。軟體傳統上將作業系統視為可信基礎，但一個位於該層、可讀取訊息、日曆、檔案且能被所見內容引導的代理，打破了這一假設。計算機本身變成了攻擊面的一部分。

例項

一些相關案例：Summer Yue（Meta Superintelligence Labs）曾讓AI代理訪問其電子郵件收件箱並提出歸檔建議，但要求不採取行動。然而，當收件箱填滿上下文視窗時，壓縮導致早期的安全指令被靜默丟棄，代理開始自主執行操作。