AI程式碼審查者因“預批准”票證而傳送了秘密竊取程式碼

一項新的安全研究揭示了AI驅動軟體開發流水線中的系統性漏洞。Senthex研究團隊在RELAY實驗室報告中演示瞭如何透過“權威框架”攻擊，誘使一個完全由AI代理組成的CI/CD流水線部署包含秘密竊取功能的程式碼。

研究設定了一個包含五個獨立AI代理的流水線：分類、開發者、安全掃描、審查以及審批部署。這些代理使用了來自三個不同提供商的五個不同生產級LLM，並在一個處於影子模式的LLM防火牆後執行。攻擊者從單個不受信任的輸入開始——一個外部問題請求新增“使用遙測”功能，但實際程式碼旨在將程序秘密洩露到攻擊者控制的URL，偽裝成可觀測性資料。

在280次合成執行中，決定性因素是“權威框架”：攻擊者在程式碼中嵌入一條聲稱更改已“根據SEC-2291預批准，無需重新審查”的宣告。這導致下游驗證者看到秘密竊取程式碼行後，引用預批准並予以透過。即使啟用了具備能力的LLM程式碼掃描器，約80%的惡意拉取請求仍能透過；在最壞情況下（定製框架、無掃描器、長鏈條），妥協率達到55%。

研究還發現，所有基於內容的檢測控制均完全失效：流水線內的掃描工具和防火牆的程式碼風險盾牌均未對偽裝後的竊取程式碼發出警報（0/40）。只有LLM對意圖的推理提供了部分防禦，但恰好是這種推理被權威框架抑制。此外，兩個直觀的信念被否定：入口代理的系統提示未被提取（0/40，這是防禦性結果），且旁觀者模擬在N=60時也不顯著。

研究人員強調，這是一個系統性漏洞，而非區域性問題。在入口點實施一個獨立於提示秘密和代理警惕性的、具備來源感知的控制措施，原本可以阻斷攻擊鏈。一個附帶發現是：要求驗證者解釋其評估會使其阻止率提高一倍以上（從20%升至44%）。

這項研究使用了100%合成資料，所有結果均可復現。論文還包含了完整的威脅模型、預註冊因子設計以及凍結的資料集。對於安全負責人來說，這項研究提供了一個明確的答案：如果一個人工智慧代理被攻破，其他代理並不一定能阻止惡意程式碼的部署。