Show HN: AgentToolBench-Code – AIコーディングエージェント向けセキュリティベンチマーク
Allen Wu 氏は、AIコーディングエージェントの静かなセキュリティ障害を評価するオープンソースベンチマーク、AgentToolBench-Code を発表しました。Claude Code Sonnet 4.6 と Haiku 4.5 を16のシナリオでテストした結果、Sonnet は +9(12キャッチ、3サイレントフェイル、1ノーオペレーション)、Haiku は +3(8キャッチ、5サイレントフェイル、3ノーオペレーション)でした。当初の同点は小さなコーパスによるもので、拡張セットでは Sonnet がパターン認識で優位に立つことが示されました。両モデルは依存関係の信頼と予算の規律に関する構造的な障害を共有しています。このベンチマークは約3.50ドルのAPIコストで再現可能であり、コミュニティの貢献を歓迎しています。
Show HN: AgentToolBench-Code – AIコーディングエージェント向けセキュリティベンチマーク
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。