企业AI:神秘代码、杀伤区、认知投降、氛围炸弹
企业AI项目的高失败率源于缺乏专门优化AI系统的企业级架构。员工使用消费级聊天机器人导致敏感信息泄露。所谓的“氛围编码”生成大量漏洞代码,造成未来不可预测的安全隐患。
企业AI项目的失败率居高不下,其根源在于系统架构和设计上的根本缺陷——或者说,缺乏设计。大多数组织缺乏专门为优化AI系统而设计的企业级架构,这一缺陷使它们容易受到大语言模型(LLM)聊天机器人退化效应的影响,并分散管理层对更重要职能的注意力。此外,员工继续使用消费级聊天机器人完成工作产品,导致敏感和机密信息未经授权披露,危及组织未来。本周的讨论聚焦于在缺乏强有力治理的情况下,广泛部署LLM聊天机器人所带来的日益升级的风险。
“氛围编码”后遗症
2025年初,AI研究员Andrej Karpathy创造了“氛围编码”一词,指的是通过仅使用自然语言提示大语言模型(LLM)聊天机器人来生成应用程序的软件开发实践。虽然这种方法在创建功能原型和小规模业余应用程序方面极其迅速,但其在企业架构中的应用可能导致重大失败。
当开发者依赖LLM聊天机器人生成代码,而非作为基础架构师时,结果就是业界所称的“神秘代码”代码库。由此产生的后果日益严重。由于LLM缺乏长期架构记忆,尝试修复单个缺陷往往会在其他地方引入多个新错误。Stack Overflow 2025年对超过49,000名开发者的调查发现,66%的人现在难以处理“几乎正确”的AI生成代码,45%的人报告调试AI生成代码比自行编写花费更长时间。METR的一项随机对照试验发现,经验丰富的开发者在使用AI工具时实际上速度慢了19%——尽管他们自认为速度快了20%。认知投降问题(下文讨论)在生产软件开发中已经可测量。
使用LLM开发的自动化工具经常生成不安全的逻辑,包含未经验证的第三方依赖,并直接将硬编码密钥或过度宽松的默认设置嵌入应用程序。Veracode 2025年GenAI代码安全报告发现,大约45%的AI生成代码包含可利用的漏洞,其中跨站脚本错误出现在86%的相关代码样本中。2025年12月CodeRabbit对470个开源拉取请求的分析发现,AI共同编写的代码中包含的主要问题大约是人类编写代码的1.7倍,安全漏洞出现的频率是其2.74倍。
因此,企业正在不知不觉中被部署了所谓的“氛围炸弹”,这些炸弹将在未来的某个不可预测日期爆炸。在绝大多数情况下,没有人类工程师进行过代码审查。
氛围炸弹 一种由LLM聊天机器人根据自然语言提示生成的缺陷软件引起的企业网络随机延迟入侵。