AI News HubLIVE
站內改寫1 分鐘閱讀

AI代理在一次運行中修復了98%的漏洞依賴,下次修復了14%

一項研究表明,結合Bomly MCP服務器的AI代理在大型項目上能穩定修復98%以上的可修復漏洞,而僅靠代理自身則表現不一,甚至低至14%。該服務器通過提供依賴圖、漏洞列表和修復上下文,有效解決了大型項目中依賴發現的瓶頸問題。

來源Hacker News AI作者: ahmed3lmallah

一項針對AI編程代理修復漏洞依賴的研究揭示了MCP(模型上下文協議)服務器的價值。研究團隊使用Claude Code和Codex CLI兩個領先代理,在一個擁有約300個依賴的13模塊Maven項目上進行了測試。結果顯示,當代理接入Bomly MCP服務器時,每次運行都能穩定修復98%以上的可修復漏洞;而沒有服務器的情況下,Claude Code的完成率在14%到98%之間劇烈波動,Codex CLI雖然穩定在93-100%,但運行時間幾乎翻倍。

研究發現,在大型項目中,發現漏洞依賴本身比修復更困難。Bomly MCP服務器提供了完整的依賴圖、漏洞列表和修復上下文,幫助代理將精力集中在修復而非探索模塊結構上。例如,Claude Code的一次14%運行雖然進行了87次工具調用,但大部分時間花在手動手動遍歷模塊樹,最終僅修復了56個可修復漏洞中的8個。

在三個小型應用(包括Python、單模塊Maven和npm項目)上,AI代理自身表現優異,完成率普遍在99-100%之間,服務器未帶來額外提升。這表明MCP服務器的價值主要體現在依賴結構複雜、缺少本地審計命令的大型項目中。

此外,服務器還減少了虛假修復聲明:Claude Code的虛報次數從5次運行中的4次降為2次,受影響包數從9個降至4個。對於Codex CLI,服務器雖未減少虛報,但將其平均運行時間從約13分鐘縮短至7.5分鐘。

研究團隊強調這只是一項觀察性研究,並非普適結論,但結果強烈表明,當依賴樹規模龐大時,全圖上下文對代理至關重要。所有實驗數據、提示詞和評分代碼均已公開,便於復現。

該研究還意外發現了Bomly工具本身的四個bug,包括pip-audit干擾Python解釋器檢測、ANSI顏色碼導致依賴不可見、MCP響應截斷以及多模塊Maven掃描失敗等。這些問題已在研究過程中得到修復。對於FAQ部分,研究團隊明確指出,Bomly MCP服務器在大型項目中顯著提升修復效果和速度,但小型項目則不需要。