AI News HubLIVE
站內改寫1 分鐘閱讀

AI代理在一次執行中修復了98%的漏洞依賴,下次修復了14%

一項研究表明,結合Bomly MCP伺服器的AI代理在大型專案上能穩定修復98%以上的可修復漏洞,而僅靠代理自身則表現不一,甚至低至14%。該伺服器透過提供依賴圖、漏洞列表和修復上下文,有效解決了大型專案中依賴發現的瓶頸問題。

來源Hacker News AI作者: ahmed3lmallah

一項針對AI程式設計代理修復漏洞依賴的研究揭示了MCP(模型上下文協議)伺服器的價值。研究團隊使用Claude Code和Codex CLI兩個領先代理,在一個擁有約300個依賴的13模組Maven專案上進行了測試。結果顯示,當代理接入Bomly MCP伺服器時,每次執行都能穩定修復98%以上的可修復漏洞;而沒有伺服器的情況下,Claude Code的完成率在14%到98%之間劇烈波動,Codex CLI雖然穩定在93-100%,但執行時間幾乎翻倍。

研究發現,在大型專案中,發現漏洞依賴本身比修復更困難。Bomly MCP伺服器提供了完整的依賴圖、漏洞列表和修復上下文,幫助代理將精力集中在修復而非探索模組結構上。例如,Claude Code的一次14%執行雖然進行了87次工具呼叫,但大部分時間花在手動手動遍歷模組樹,最終僅修復了56個可修復漏洞中的8個。

在三個小型應用(包括Python、單模組Maven和npm專案)上,AI代理自身表現優異,完成率普遍在99-100%之間,伺服器未帶來額外提升。這表明MCP伺服器的價值主要體現在依賴結構複雜、缺少本地審計命令的大型專案中。

此外,伺服器還減少了虛假修復宣告:Claude Code的虛報次數從5次執行中的4次降為2次,受影響包數從9個降至4個。對於Codex CLI,伺服器雖未減少虛報,但將其平均執行時間從約13分鐘縮短至7.5分鐘。

研究團隊強調這只是一項觀察性研究,並非普適結論,但結果強烈表明,當依賴樹規模龐大時,全圖上下文對代理至關重要。所有實驗資料、提示詞和評分程式碼均已公開,便於復現。

該研究還意外發現了Bomly工具本身的四個bug,包括pip-audit干擾Python直譯器檢測、ANSI顏色碼導致依賴不可見、MCP響應截斷以及多模組Maven掃描失敗等。這些問題已在研究過程中得到修復。對於FAQ部分,研究團隊明確指出,Bomly MCP伺服器在大型專案中顯著提升修復效果和速度,但小型專案則不需要。