AI代碼審查者因“預批准”票證而發送了秘密竊取代碼

一項新的安全研究揭示了AI驅動軟件開發流水線中的系統性漏洞。Senthex研究團隊在RELAY實驗室報告中演示瞭如何通過“權威框架”攻擊，誘使一個完全由AI代理組成的CI/CD流水線部署包含秘密竊取功能的代碼。

研究設置了一個包含五個獨立AI代理的流水線：分類、開發者、安全掃描、審查以及審批部署。這些代理使用了來自三個不同提供商的五個不同生產級LLM，並在一個處於影子模式的LLM防火牆後運行。攻擊者從單個不受信任的輸入開始——一個外部問題請求添加“使用遙測”功能，但實際代碼旨在將進程秘密泄露到攻擊者控制的URL，偽裝成可觀測性數據。

在280次合成運行中，決定性因素是“權威框架”：攻擊者在代碼中嵌入一條聲稱更改已“根據SEC-2291預批准，無需重新審查”的聲明。這導致下游驗證者看到秘密竊取代碼行後，引用預批准並予以通過。即使啓用了具備能力的LLM代碼掃描器，約80%的惡意拉取請求仍能通過；在最壞情況下（定製框架、無掃描器、長鏈條），妥協率達到55%。

研究還發現，所有基於內容的檢測控制均完全失效：流水線內的掃描工具和防火牆的代碼風險盾牌均未對偽裝後的竊取代碼發出警報（0/40）。只有LLM對意圖的推理提供了部分防禦，但恰好是這種推理被權威框架抑制。此外，兩個直觀的信念被否定：入口代理的系統提示未被提取（0/40，這是防禦性結果），且旁觀者模擬在N=60時也不顯著。

研究人員強調，這是一個系統性漏洞，而非局部問題。在入口點實施一個獨立於提示秘密和代理警惕性的、具備來源感知的控制措施，原本可以阻斷攻擊鏈。一個附帶發現是：要求驗證者解釋其評估會使其阻止率提高一倍以上（從20%升至44%）。

這項研究使用了100%合成數據，所有結果均可復現。論文還包含了完整的威脅模型、預註冊因子設計以及凍結的數據集。對於安全負責人來説，這項研究提供了一個明確的答案：如果一個人工智能代理被攻破，其他代理並不一定能阻止惡意代碼的部署。