近日，安全研究員Ayush Paul披露了一種針對Anthropic旗下AI助手Claude的新型資料洩露攻擊手法。該攻擊利用了Claude的web_fetch工具中的一個設計漏洞，成功誘導AI將使用者記憶中的敏感資訊透過URL請求外洩。
此前，Simon Willison曾指出，AI聊天助手面臨一種被稱為“致命三要素”（lethal trifecta）的攻擊風險：模型既能訪問私密的使用者記憶資料，又擁有讀取網路內容的工具，且該工具可同時接收惡意指令並透過URL外傳資料。為防止此類攻擊，Anthropic為web_fetch工具設定了保護機制：它只能導航至使用者明確輸入的URL或由配套web_search工具返回的連結。這意味著，即使攻擊者指示AI將記憶內容附加到某個惡意URL後訪問，該操作也會被規則攔截。
然而，Ayush發現了一個邏輯漏洞。web_fetch允許讀取已獲取頁面中包含的連結，並進一步導航。這意味著攻擊者可以構建一個層層巢狀的“蜜罐”網站，誘使AI逐個訪問這些連結，在過程中逐步洩露使用者資訊。在成功實施的攻擊中，Ayush建立了一個偽裝成身份驗證頁面的惡意站點，聲稱AI助手需要逐字母瀏覽使用者檔案才能透過Cloudflare驗證。攻擊提示中包含了按字母順序排列的URL列表（如coffee.evil.com/a、coffee.evil.com/b等），僅對帶有Claude-User使用者代理的客戶端展示，以增加隱蔽性。
透過這種手段，攻擊者成功提取了使用者的姓名、所在城市和僱主名稱。Ayush向Anthropic報告了該漏洞，但Anthropic稱已在內部發現此問題，因此未支付漏洞賞金。據悉，Anthropic已透過移除web_fetch在自身已獲取內容中導航至額外連結的功能來修復該漏洞。這一事件再次凸顯了AI安全設計中的複雜挑戰，以及防範針對性攻擊的難度。