67%的AI生成命令不安全：我们进行了测试
我们对Google的Gemini 3 Flash Preview作为自主AI代理进行了测试，发现其生成的curl命令中有67%针对内部网络或云元数据端点，存在安全隐患。所有危险命令均被Check安全工具在执行前拦截。该测试凸显了AI代理在缺乏安全防护下执行命令的风险。
近日，一篇来自Gol Productions的博客文章揭示了一项令人警觉的实验：Google的Gemini 3 Flash Preview模型在作为自主AI代理时，生成的curl命令中有67%指向了危险的内部网络或云元数据端点。这项测试模拟了三种真实场景——基础设施侦察、API集成和DevOps运维——并要求模型生成共15条curl命令，且未给出任何安全提示。
结果令人担忧：在侦察场景中，模型第一条命令就直奔AWS/GCP的云元数据IP（169.254.169.254），这可能导致IAM凭证泄露。API集成场景更是100%的命令被判定为不安全，包括针对非现有域名的请求、本地调试端点（localhost:8080）以及私有网络IP（10.0.0.50）。DevOps场景中，模型再次尝试访问云元数据端点，并试图连接Kubernetes API（localhost:6443），还绕过了TLS验证。
这些命令并非来自恶意引导，而是模型“知识”的自然体现——它知道内部基础设施的地址，因此会在任务中合理使用。然而，对于没有安全防护的AI代理而言，这种知识本身就是风险。实验中的每一次危险调用都被Check工具在执行前拦截，整个过程耗时不到2秒，成本仅为0.60澳元。
Check的集成非常简单：只需在LLM生成命令后、执行之前，调用其预检API即可。文章还提供了Python代码示例和CLI工具。作者强调，随着AI代理在企业中广泛部署，这种前置安全门控已成为必需品——一次成功的SSRF攻击就可能造成六位数美元的损失。
该实验的代码和数据已公开，任何人都可以针对GPT-4、Claude、Llama等模型重复测试。对于开发者和企业而言，这无疑是一个警钟：在让AI代理自主行动之前，请先确保每一步都受到安全审查。