AI News HubLIVE
站內改寫2 分鐘閱讀

企業AI:神秘程式碼、殺傷區、認知投降、氛圍炸彈

企業AI專案的高失敗率源於缺乏專門最佳化AI系統的企業級架構。員工使用消費級聊天機器人導致敏感資訊洩露。所謂的“氛圍編碼”生成大量漏洞程式碼,造成未來不可預測的安全隱患。

來源Hacker News AI作者: mooreds

企業AI專案的失敗率居高不下,其根源在於系統架構和設計上的根本缺陷——或者說,缺乏設計。大多陣列織缺乏專門為最佳化AI系統而設計的企業級架構,這一缺陷使它們容易受到大語言模型(LLM)聊天機器人退化效應的影響,並分散管理層對更重要職能的注意力。此外,員工繼續使用消費級聊天機器人完成工作產品,導致敏感和機密資訊未經授權披露,危及組織未來。本週的討論聚焦於在缺乏強有力治理的情況下,廣泛部署LLM聊天機器人所帶來的日益升級的風險。

“氛圍編碼”後遺症

2025年初,AI研究員Andrej Karpathy創造了“氛圍編碼”一詞,指的是透過僅使用自然語言提示大語言模型(LLM)聊天機器人來生成應用程式的軟體開發實踐。雖然這種方法在建立功能原型和小規模業餘應用程式方面極其迅速,但其在企業架構中的應用可能導致重大失敗。

當開發者依賴LLM聊天機器人生成程式碼,而非作為基礎架構師時,結果就是業界所稱的“神秘程式碼”程式碼庫。由此產生的後果日益嚴重。由於LLM缺乏長期架構記憶,嘗試修復單個缺陷往往會在其他地方引入多個新錯誤。Stack Overflow 2025年對超過49,000名開發者的調查發現,66%的人現在難以處理“幾乎正確”的AI生成程式碼,45%的人報告除錯AI生成程式碼比自行編寫花費更長時間。METR的一項隨機對照試驗發現,經驗豐富的開發者在使用AI工具時實際上速度慢了19%——儘管他們自認為速度快了20%。認知投降問題(下文討論)在生產軟體開發中已經可測量。

使用LLM開發的自動化工具經常生成不安全的邏輯,包含未經驗證的第三方依賴,並直接將硬編碼金鑰或過度寬鬆的預設設定嵌入應用程式。Veracode 2025年GenAI程式碼安全報告發現,大約45%的AI生成程式碼包含可利用的漏洞,其中跨站指令碼錯誤出現在86%的相關程式碼樣本中。2025年12月CodeRabbit對470個開源拉取請求的分析發現,AI共同編寫的程式碼中包含的主要問題大約是人類編寫程式碼的1.7倍,安全漏洞出現的頻率是其2.74倍。

因此,企業正在不知不覺中被部署了所謂的“氛圍炸彈”,這些炸彈將在未來的某個不可預測日期爆炸。在絕大多數情況下,沒有人類工程師進行過程式碼審查。

氛圍炸彈 一種由LLM聊天機器人根據自然語言提示生成的缺陷軟體引起的企業網路隨機延遲入侵。