Show HN: SOCBench – AI for SoCタスクのためのオープンベンチマーク

SOCBenchは、DeepTempoが開発したオープンソースのベンチマークフレームワークで、最先端の推論型大規模言語モデル（LLM）をセキュリティオペレーションセンター（SOC）タスクで評価することを目的としています。このベンチマークは、モデルをSOCエージェントとして動作させ、生のNetFlowデータに対して制限付きのマルチターンエージェントループを実行します。SOCBenchは4つのペルソナ（SOCアナリスト、脅威アナリスト、敵対的ハンター、検出エンジニア）をサポートし、それぞれ異なるツール権限を持ちます。また、OpenAI、Anthropic、Googleの3大プロバイダを統合しており、ユーザーは自由にモデルを選択できます。すべてのペルソナとプロバイダは同じ評価ユニット、スコアリングレンズ、アブレーションサーフェスを共有し、結果の直接比較を可能にします。

このリポジトリはローカルファーストであり、ラップトップ、3つのAPIキー、リポジトリに含まれるサンプルparquetファイルだけで、10ドル未満の予算でスモークテストを再現できます。SOCBenchは現在アルファ版ですが、エンドツーエンドのパイプラインは完全に機能し、インデックス構築からアブレーション研究までの全ステップをカバーしています。

インストールはuvまたはpipで簡単に行えます。設定はYAMLファイルで管理され、ベンチマークのデフォルト値、スキーマ、価格設定、APIキーが含まれています。クイックスタートガイドは5つのステップで構成されています：コンテンツアドレスインデックスの構築、ツールレイヤーの検査、ベンチマークの実行、アブレーションの実行、結果の探索。さらに、SOCBenchは拡張可能なインターフェースを提供し、コアコードを変更することなく、新しいツール、評価ユニットタイプ、プロバイダアダプタ、ペルソナ、スコアリングレンズを追加できます。

完全な方法論は、評価ユニット、ペルソナ×ツール行列、エージェントループ、スコアリング、コストモデル、修復ポリシー、サンプリング、アブレーション、実行成果物を網羅し、src/socbenchモジュール内に実装されています。プロジェクトはApache-2.0ライセンスで公開され、コミュニティからの貢献を奨励しています。