本文にスキップ
AI News HubLIVE
その他
要約のみ

Show HN: SOCBench – AI for SoCタスクのためのオープンベンチマーク

SOCBenchは、最先端の推論LLMをSOCエージェントとしてraw NetFlowデータで評価するオープンベンチマークです。マルチターンエージェントループ、ペルソナスコープのツール、複数のプロバイダアダプタ、スコアリングレンズを提供します。リポジトリはローカルファーストで、ラップトップ、3つのAPIキー、サンプルパーケットだけで再現可能です。現在アルファ版ですが、エンドツーエンドのパイプラインが完全に動作します。

ソースHacker News AI著者: krmayankb
Show HN: SOCBench – AI for SoCタスクのためのオープンベンチマーク
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • NetFlowデータでLLMをSOCエージェントとしてベンチマーク
  • 複数のペルソナ(アナリスト、ハンターなど)とプロバイダ(OpenAI、Anthropic、Google)をサポート
  • ローカルファースト、最小限のセットアップで再現可能
  • アルファ版、包括的な評価ユニットとアブレーション研究を含む

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。