Show HN: AgentToolBench-Code – AI编程代理安全基准测试
Allen Wu 开源了 AgentToolBench-Code,这是一个评估AI编程代理静默安全失败的基准测试。测试了 Claude Code Sonnet 4.6 和 Haiku 4.5,涵盖16个真实CVE场景。结果显示 Sonnet 以 +9 分(12捕获、3静默失败、1无操作)明显优于 Haiku 的 +3 分(8捕获、5静默失败、3无操作)。早期平局源于小语料库,扩展后 Sonnet 在模式识别上优势显著。但两者在依赖安装和预算消耗等结构性攻击上均失败,提示系统性问题。该基准可重复,API成本约3.50美元,社区可贡献场景。
Show HN: AgentToolBench-Code – AI编程代理安全基准测试
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。