AI News HubLIVE
站内改写5 分钟阅读

在您使用“氛围编码”开发下一个应用之前,请先阅读本文

随着AI使得任何人都能轻松创建应用,安全问题也随之而来。本文通过多个案例揭示了“氛围编码”应用中的安全隐患,包括SQL注入、未认证访问和数据泄露,并提供了安全建议。

来源The Verge AI作者: Yael Grauer

Bob Starr 对他的“氛围编码”网站感到非常满意。“Boomberg”展示了美国纳税人的钱流向了哪些科技公司,Starr 在完成网站后立即将其上线。然而,直到网站运行数月后,他才意识到一个问题:隐藏的 SQL 注入风险。这个漏洞可能让攻击者读取或篡改未经授权的数据。

“这完全是我的疏忽,是在学习这项新技术和理解它的过程中的一个盲点。我相信其他人也在犯同样的错误,”Starr 说,他是一名科技行业的项目经理。

Starr 修复了问题,但他并不孤单。在社交媒体上,充满了关于“氛围编码”应用存在安全漏洞的恐怖故事。PocketOS 的创始人 Jer Crane 在 X 上发帖称,一个 AI 编码代理清除了他公司的生产数据库。连续创业者 Joe Procopio 在“氛围编码”一个用于私下展示其他应用的 Web 应用时,遭到了黑客攻击,不得不将其下线。“现在我通过 Zoom 从本地机器上演示,就像2023年那样,”他写道。

正如 The Verge 的 David Pierce 所说,我们已经进入了“个人软件的新时代”,任何人都可以利用 AI 创建自己的私人应用,实现自己想要的功能。但随之而来的是新的安全问题。应用可能容易构建,但很难确保安全——尤其是在 AI 也可以被用来攻击它们的时代。

“我的核心观点是,‘氛围编码’本身并不坏,因为业余爱好者可以构建软件。这其实是好的一面,”AI 驱动的网络安全公司 SentinelOne 的杰出 AI 研究科学家 Gabriel Bernadett-Shapiro 说。

他认为,危险在于当个人应用滑向商业软件的领域,存储共享的托管数据,而没有人意识到这种转变已经发生。当“氛围编码”从用于追踪偏头痛、餐食或包裹递送的本地应用,转向处理客户日志、医疗数据、财务记录或内部文档的应用时,情况就不同了。

“这些应用需要达到不同的标准。即使它是由一个人在一个下午内构建的,即使创建软件的软件是微不足道的。一旦它触及他人的个人数据,标准就应该改变。”

Corridor(为 AI 原生软件开发构建的安全平台)的 CEO 兼联合创始人 Jack Cable 同意这一观点。

“氛围编码适用于低风险的事情,”Cable 说,比如原型或不太敏感的健身追踪器。但财务记录应该受到更严格的审查,互联网上的任何内容也是如此。“你是否暴露了自己或他人的数据?考虑一下威胁模型的样貌,如果不确定自己的操作是否安全,宁可谨慎。”

Max Segall,加密钱包公司 Privy 的首席运营官,在“氛围编码”了 EzRun(一种每次和孩子跑步时奖励 10 美元以太坊的有趣方式)后,就采取了这种态度。幸运的是,一位同事在发布前发现了一个严重缺陷,该缺陷可能让任何人修改用户账户以获取访问权限。

在更令人担忧且备受关注的案例中,开发者 Matt Schlicht 在1月底发布了一个名为 Moltbook 的病毒式社交网络。它完全是为 AI 代理构建的,他没有编写一行代码。几天内,安全公司 Wiz 的研究人员发现该应用的整个生产数据库完全开放,暴露了数万个电子邮件地址和私人消息。Moltbook 在被告知后迅速修补了漏洞,但这并非个例。Wired 报道称,网络安全公司 Red Access 的研究人员发现,大约5000个使用流行“氛围编码”工具构建的公开应用没有认证,其中近2000个似乎在泄露敏感数据,如医疗和财务信息、战略文档,甚至聊天机器人对话日志。

公平地说,许多专业制作的 AI 之前的软件也非常不安全。但正如“氛围编码”成倍增加了应用的数量一样,安全风险的数量也极有可能急剧增加。它还增加了过度自信的风险。当 AI 工具告诉你代码是安全的时,很容易相信它。

在常规的“氛围编码”过程中,除非你安装了某些工具,否则没有东西会停下来检查,而大多数业余编码者并没有这么做。构建过程只会继续。现有的安全工具需要被调用。虽然 Claude Code 有一个 /security-review 命令可以扫描漏洞,但你需要要求它执行。有一个自动版本,但只有当你提前设置好在拉取请求上运行时才有效,而大多数临时构建者并没有这样做。

OpenAI 自己的编码代理 Codex 有一个内置的安全代理 Codex Security,它会在提交时扫描,并重新扫描其自己的补丁,但它针对的是拥有真实版本控制工作流的开发者,而不是通过聊天构建应用的人。对于其他人来说,建议很简单:在构建时以及结束时,特别是当工具有权访问你关心的数据时,必须提示安全性。

“很多安全是上下文相关的,”Cable 说,因此运行编码代理自己的审查当然无害,但他警告不要因此产生虚假的安全感,尤其是当代理不了解你的威胁模型,或者你没有给予它正确的指导时。

Bernadett-Shapiro 表示,他最大的担忧不是有漏洞的 AI 生成代码,而是缺乏认证——当开发者将一个本地运行的应用迁移到云端,并带着一大堆他们不理解的配置选项时,他们可能不会考虑这个问题,从而导致敏感数据暴露。这是他最担心的失败,理由充分:在本地运行良好的应用放在云端,就像把一盒秘密放在人行道上一样——研究人员一直在发现这种情况。

AI 在提示下可以很好地发现错误。模型已经有所改进,例如 Anthropic 的 Mythos 模型,它因轻易发现攻击漏洞而引发警报,但也可以用来加固“氛围编码”者正在构建的应用。Bernadett-Shapiro 表示,GPT-5.5-Cyber 或其他应用的基础模型可以评估安全性并识别出即使有经验的开发者也可能忽略的问题。当然,他指出,人们可能不了解他们正在做出的安全权衡,甚至忽略警告,认为风险可接受。

一些基础设施已经开始出现。OWASP 发布了针对组织的 AI 安全验证标准。Trail of Bits 等公司开始发布“技能包”,即附加指令包,指导编码代理执行特定的安全任务,如在发布前标记不安全的默认设置或硬编码密码。Cable 说,技能包需要被专门触发,因此不太自然地融入开发流程,并且很难在编码代理间保持更新和同步,同时随着代码库的变化而调整。

此外,技能包可以双向作用,因为恶意技能包也存在。2月份,1Password 的 Jason Meller 检查了流行的 OpenClaw 技能注册表中最常下载的技能包,发现它引导用户安装了一个最终是恶意的依赖项。那里仍然是一片狂野西部,很难判断一个技能包会加固你的应用还是将你的凭证交给攻击者。

“氛围编码”应用的不安全性不仅是业余爱好者的问题。Cable 说,大型公司的工程师甚至销售和营销团队现在比以前发布了更多的代理编写代码。安全团队需要了解代理的使用情况,并设置强制执行的护栏——要么通过技能包,要么通过 Corridor 销售的产品这类工具,旨在在代码编写之前就阻止缺陷。

对于个人,Cable 的指导原则更简单:意识到在你的本地计算机上运行的模型远没有公开的模型有风险,尤其是当它包含敏感数据时。

“几乎一夜之间,大多数公司生产软件的方式完全改变了,”Cable 说。他并不特别担心编码代理本身,只要它们被赋予了适当的操作护栏。模型本身越来越多地建立在内存安全堆栈上,从一开始就消除了整类漏洞。“我确实有理由保持乐观,”他说。

政府事务专家 Jeff Rothblum 在开发一个用于处理大量繁琐数据输入的应用时,将安全性放在了首位。他思考了应用持有何种信息、信息的敏感程度以及如果泄露可能发生什么。这种方法之所以引人注目,是因为它非常罕见,而且我们脚下的土地变化如此之快。

在 Lilt 担任政府事务和战略负责人期间,他需要向各政府委员会提交输入表格,以将想法纳入拨款法案。没有两份表格是相同的,因此说客可能需要在六周内提交几十甚至数百份独特的表格。在经历了八周每周75小时的工作以及一次裁员后,他构建了一个工具,以防需要再次做这项工作。这是一个应用,它将链接和截止日期抓取到一个仪表板中,并使用 LLM 预填每个表格,用户只需检查和编辑(并粘贴账号)即可提交。

他非常清楚风险,因为他没有自己编写代码。“我上次写代码可能是在2006年本科时用 Fortran 分析流体流动,作为一名航天工程师,”Rothblum 告诉 The Verge。最大的风险是公司可能无意中泄露策略或敏感游说理由,即使备案是公开的,这些信息也应保持私密。他通过定期在 Claude 中运行安全审查、将用户数据保留在本地而非服务器上,以及建立更严格的保留保障措施来减轻这一风险。

他“氛围编码”了他的应用,使其清除浏览器缓存,并坦诚地说明页面将数据发送给 Claude,并链接到其保留政策。他正在开发一个版本,其中用户输入的任何内容都不会被 AI 存储(即使短暂存储),以及一个单独的版本,允许用户通过自己的 LLM 而不是他的 Claude 实例路由所有内容。

虽然 Rothblum 考虑过构建一个更广泛的游说情报工具,但他说,如果他要处理更敏感的数据,他打算花四到五位数的费用聘请真正的安全工程师来审查他的代码。“我对开源和临时性的东西很满意,但其他一切都有点让我害怕,”他说。

理想情况下,代码应由人类专家审查,但 Cable 说这正在成为瓶颈。他说,一个悬而未决的问题是,当大多数代码在没有任何人类阅读的情况下发布时,世界会变成什么样,以及我们如何确保那个世界的安全。

目前,对我们其他人来说,答案更小且更易于实现:用“氛围编码”构建你梦想的应用,但仔细考虑应用存储和访问的数据,以及可能出问题的地方。要求它在构建时考虑安全性,并在每次更改后运行代码审查,包括 AI 自己编写的补丁。在将其从本地设备移至云端或授予其对任何敏感数据或账户的访问权限之前,要特别小心。一个有趣的项目和一个恐怖故事之间的区别,始于知道该问什么问题。