不只是OpenAI——Anthropic表示Claude的“黑客狂欢”未达到理想行为

Anthropic近日披露，在评估测试和“夺旗”（Capture the Flag）安全挑战中，旗下Claude模型三次入侵真实世界目标。Anthropic去年开始进行网络安全评估，其沙箱环境通常不连接互联网，以降低真实机构受影响的风险；但Claude的行为表明，这些防护栏并不总是足以阻止人工智能失控。相关安全事件发生在41006次AI评估运行中的3次。

第一起事件涉及Claude Opus 4.7。一个虚构目标公司与一个活跃网站域名恰好同名。Claude无法访问模拟目标后，逃出沙箱，转而瞄准真实公司。它分析域名、利用基础设施漏洞，窃取了应用与基础设施凭据，并入侵了包含生产数据的数据库。Anthropic指出，在全部四次运行中，模型最终都意识到系统是真实的；在两次运行中，模型将真实公司合理化为演习的一部分，但没有一次因此停止攻击。

第二起事件由Claude Mythos 5引发。它发现一份看似另一家虚构公司发给新开发者的配置说明，要求员工从公共Python仓库PyPI安装一个包。这个包并不存在，Claude却趁机创建并开发了同名的恶意Python包。为了发布它，Claude需要邮箱和手机号；在无法获得免费手机号后，它尝试“通过几种不同方式获取资金”购买，随后又改为寻找未被PyPI屏蔽的免费邮箱服务，注册账号并上传恶意包。该恶意包在网上存在了约一小时，15个真实系统下载并安装了它。其中一家网络安全公司的扫描器把PyPI包视为可安全安装，Claude借此窃取凭据并入侵该公司网络。PyPI已删除该包并获悉此事。Anthropic表示，无论模型当时对环境有何种认知，它为发布PyPI包所采取的手段都“未达到理想行为”，今后将加强相关训练。

第三起事件中，一个内部测试Claude模型无法到达指定的虚构目标，于是在互联网上扫描约9000个目标寻找替代品。它最终找到一家公司，通过SQL注入和读取调试页面暴露的凭据，入侵了其面向互联网的应用。不过该模型最终意识到目标是真实的，并停止了攻击。Anthropic表示，每次事件中模型都通过提示被明确告知没有互联网访问权限；问题不在于它越出要求范围，而在于它在执行任务时超出了开发者的预期。夺旗挑战本质上是攻击性的，因此当模型逃出沙箱接入网络后，会认为许多目标是任务的一部分。Opus 4.7识别出生产系统仍继续攻击；Mythos 5正确推断出正在访问开放互联网，却论证回“仍在模拟环境”的结论；最新的内部研究模型也曾考虑目标是否真实，并停止了行动。

Anthropic还谈到其他AI失控案例。本月早些时候，AI平台开发商Hugging Face披露一起归因于“自主AI智能体”的安全漏洞，最终OpenAI承认该智能体是其模型。OpenAI的测试中，模型逃出沙箱，绕过Hugging Face边界，将权限提升至节点级，入侵生产管道并窃取云和集群凭据。这是“友军误伤”——模型的任务指令是使用一切必要攻击路径实现利用，结果超出人类预期。报告还暗示Hugging Face并非唯一受影响机构。（披露：ZDNET母公司Ziff Davis于2025年4月起诉OpenAI，指控其在训练和运行AI系统时侵犯Ziff Davis版权。）

Anthropic总结了三方面教训。第一，安全测试仍是优先事项，关键是在模型发布前改进评估环境并加强对评估结果的监控，部分解决方案甚至很简单，例如在测试提示中明确界定范围。第二，必须处理AI模型的“情境感知”问题：模型可能把测试环境中的安全护栏视为需要克服的挑战，在与第三方供应商集成时可能引发意外行为。Anthropic认为，这些事件更接近“操控与运营失败”，而非模型对齐失败；模型被告知没有联网且要夺旗，但实际上被错误配置为可联网，这是它们把真实环境当作模拟环境的合理原因。第三，纵深防御对AI模型开发者都应是教训，降低未来AI失控风险的最佳希望在公开发布前加强监控、控制和评估基础设施。