本文にスキップ
AI News HubLIVE
その他
要約のみ

Show HN: AgentToolBench-Code – AIコーディングエージェント向けセキュリティベンチマーク

Allen Wu 氏は、AIコーディングエージェントの静かなセキュリティ障害を評価するオープンソースベンチマーク、AgentToolBench-Code を発表しました。Claude Code Sonnet 4.6 と Haiku 4.5 を16のシナリオでテストした結果、Sonnet は +9(12キャッチ、3サイレントフェイル、1ノーオペレーション)、Haiku は +3(8キャッチ、5サイレントフェイル、3ノーオペレーション)でした。当初の同点は小さなコーパスによるもので、拡張セットでは Sonnet がパターン認識で優位に立つことが示されました。両モデルは依存関係の信頼と予算の規律に関する構造的な障害を共有しています。このベンチマークは約3.50ドルのAPIコストで再現可能であり、コミュニティの貢献を歓迎しています。

ソースHacker News AI著者: allenwu06
Show HN: AgentToolBench-Code – AIコーディングエージェント向けセキュリティベンチマーク
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • AgentToolBench-Code は、AIコーディングエージェントの静かなセキュリティ障害を検出するオープンソースベンチマークです。
  • 16のCVEクラスシナリオに拡張され、Sonnet 4.6 が Haiku 4.5 を大幅に上回りました。
  • 両モデルは依存関係のインストールや予算枯渇といった構造的攻撃に失敗し、システム的な問題を浮き彫りにしました。
  • 約3.50ドルで再現可能であり、コミュニティによるシナリオ貢献や他のエージェントの実行を募集しています。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。