AI News HubLIVE
站内改写2 分钟阅读

我扫描了AI智能体框架中具有破坏性/严重后果的操作,结果令人震惊

对25个AI智能体框架(23,476个文件)进行扫描,发现30个未经授权检查即可由模型控制参数执行的严重后果操作,包括数据丢失、执行和出口操作。

来源Hacker News AI作者: Bucko1

一项最新研究对25个AI智能体框架中的23,476个文件进行了系统性扫描,重点寻找一种特定模式:模型可以到达的严重后果操作,其参数受模型控制,且路径上没有任何授权检查。结果发现了30个这样的操作,此外还有12个假阳性已在发布前修复。

研究团队开发了名为Actenon的扫描器,它可以检测出类似以下的情况:一个工具函数(如purge_workspace)通过MCP装饰器暴露,模型可以控制路径参数,但没有任何守卫检查调用者是否有权限执行该操作。扫描结果显示,最普遍的问题是网络出口(15例),模型可以将数据发送到任意目的地;其次是文件写入(7例)和shell执行(3例)。

该研究的核心洞见是:验证不等于授权。许多AI智能体工具会检查请求格式是否正确,但很少会在副作用实际发生的那一刻检查当前调用者是否被允许执行此特定操作。这种区别在代码审查中难以察觉,因为两者看起来都像守卫。

为了确保可复现性,每个仓库都通过提交哈希固定。研究还包含了5个非智能体的控制仓库,其中未发现任何问题,验证了扫描器的精度。尽管扫描结果有局限性——例如无法覆盖自定义智能体循环,也无法验证经过加密绑定的授权——但研究团队公开了所有方法和错误,包括最初81%的精确度以及后续改进。

扫描器本身无运行时依赖,无需上传数据,可在本地运行。研究团队强调,发现结果不等于漏洞,它仅仅表明在分析的路由径上,一个模型控制的参数到达了严重后果操作,且没有主导的授权检查。真正的安全性还需要结合运行时检查和外部可达性评估。

在初始运行中,扫描器的精确度为81%,63个发现中有12个是假阳性。团队分析了三种失败模式:Kubernetes规则匹配了搜索客户端、SQL规则捕捉了安全情况却忽略了危险情况、以及遗漏了批量删除调用。每个修复都包含永久回归测试,CI现在会确保所有发现都被处理。

扫描器目前覆盖了MCP、LangChain和OpenAI的装饰器,但无法处理自定义智能体循环或操作/观察调度器。此外,对于携带签名证明的加密绑定,静态分析无法验证。研究团队建议,运行时检查是必要的补充。

用户可以通过pipx run actenon-scan scan . 在本地运行扫描器,无需账户或网络调用。工具会清晰报告发现的行动类型和数量。

我扫描了AI智能体框架中具有破坏性/严重后果的操作,结果令人震惊 | AI News Hub