跳到主要內容
AI News HubLIVE
更多
僅摘要

Show HN: AgentToolBench-Code – AI編程代理安全基準測試

Allen Wu 開源了 AgentToolBench-Code,這是一個評估AI編程代理靜默安全失敗的基準測試。測試了 Claude Code Sonnet 4.6 和 Haiku 4.5,涵蓋16個真實CVE場景。結果顯示 Sonnet 以 +9 分(12捕獲、3靜默失敗、1無操作)明顯優於 Haiku 的 +3 分(8捕獲、5靜默失敗、3無操作)。早期平局源於小語料庫,擴展後 Sonnet 在模式識別上優勢顯著。但兩者在依賴安裝和預算消耗等結構性攻擊上均失敗,提示系統性問題。該基準可重複,API成本約3.50美元,社區可貢獻場景。

來源Hacker News AI作者: allenwu06
Show HN: AgentToolBench-Code – AI編程代理安全基準測試
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • AgentToolBench-Code 是一個開源基準測試,用於檢測AI編程代理的靜默安全失敗。
  • 從10個場景擴展到16個真實CVE場景;Sonnet 4.6 明顯優於 Haiku 4.5。
  • 兩個模型在依賴信任和預算紀律等結構性攻擊上均失敗,揭示系統性漏洞。
  • 可重複性高(約3.50美元API成本),社區被邀請貢獻新場景和運行其他代理。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。