跳到主要内容
AI News HubLIVE
更多
仅摘要

Show HN: AgentToolBench-Code – AI编程代理安全基准测试

Allen Wu 开源了 AgentToolBench-Code,这是一个评估AI编程代理静默安全失败的基准测试。测试了 Claude Code Sonnet 4.6 和 Haiku 4.5,涵盖16个真实CVE场景。结果显示 Sonnet 以 +9 分(12捕获、3静默失败、1无操作)明显优于 Haiku 的 +3 分(8捕获、5静默失败、3无操作)。早期平局源于小语料库,扩展后 Sonnet 在模式识别上优势显著。但两者在依赖安装和预算消耗等结构性攻击上均失败,提示系统性问题。该基准可重复,API成本约3.50美元,社区可贡献场景。

来源Hacker News AI作者: allenwu06
Show HN: AgentToolBench-Code – AI编程代理安全基准测试
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • AgentToolBench-Code 是一个开源基准测试,用于检测AI编程代理的静默安全失败。
  • 从10个场景扩展到16个真实CVE场景;Sonnet 4.6 明显优于 Haiku 4.5。
  • 两个模型在依赖信任和预算纪律等结构性攻击上均失败,揭示系统性漏洞。
  • 可重复性高(约3.50美元API成本),社区被邀请贡献新场景和运行其他代理。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

Show HN: AgentToolBench-Code – AI编程代理安全基准测试 | AI News Hub