近日，安全研究员Ayush Paul披露了一种针对Anthropic旗下AI助手Claude的新型数据泄露攻击手法。该攻击利用了Claude的web_fetch工具中的一个设计漏洞，成功诱导AI将用户记忆中的敏感信息通过URL请求外泄。
此前，Simon Willison曾指出，AI聊天助手面临一种被称为“致命三要素”（lethal trifecta）的攻擊风险：模型既能访问私密的用户记忆数据，又拥有读取网络内容的工具，且该工具可同时接收恶意指令并通过URL外传数据。为防止此类攻击，Anthropic为web_fetch工具设置了保护机制：它只能导航至用户明确输入的URL或由配套web_search工具返回的链接。这意味着，即使攻击者指示AI将记忆内容附加到某个恶意URL后访问，该操作也会被规则拦截。
然而，Ayush发现了一个逻辑漏洞。web_fetch允许读取已获取页面中包含的链接，并进一步导航。这意味着攻击者可以构建一个层层嵌套的“蜜罐”网站，诱使AI逐个访问这些链接，在过程中逐步泄露用户信息。在成功实施的攻击中，Ayush创建了一个伪装成身份验证页面的恶意站点，声称AI助手需要逐字母浏览用户档案才能通过Cloudflare验证。攻击提示中包含了按字母顺序排列的URL列表（如coffee.evil.com/a、coffee.evil.com/b等），仅对带有Claude-User用户代理的客户端展示，以增加隐蔽性。
通过这种手段，攻击者成功提取了用户的姓名、所在城市和雇主名称。Ayush向Anthropic报告了该漏洞，但Anthropic称已在内部发现此问题，因此未支付漏洞赏金。据悉，Anthropic已通过移除web_fetch在自身已获取内容中导航至额外链接的功能来修复该漏洞。这一事件再次凸显了AI安全设计中的复杂挑战，以及防范针对性攻击的难度。