Show HN：SOCBench——针对安全运营中心任务的AI开放基准测试

SOCBench是由DeepTempo开发的一款开源基准测试框架，旨在评估推理型大语言模型（LLM）在安全运营中心（SOC）任务中的表现。该框架将模型作为SOC代理，在原始NetFlow数据上运行有限的多轮代理循环，模拟真实的安全分析场景。SOCBench支持四种角色：SOC分析师、威胁分析师、对手猎手和检测工程师，每种角色拥有不同的工具权限。同时，它集成了OpenAI、Anthropic和Google三大提供商，用户可灵活选择底层模型。所有角色和提供商共享相同的评估单元、评分透镜和消融范围，确保结果可直接比较。

该基准测试的设计强调本地优先和可复现性。用户仅需一台笔记本电脑、三个API密钥和仓库中附带的一个示例parquet文件，即可在10美元预算内完成一次完整的烟雾测试。SOCBench目前处于alpha阶段，但端到端流水线已完全可用，覆盖从索引构建到消融研究的全部步骤。

安装过程简洁，支持uv和pip两种方式。配置通过YAML文件管理，包括基准默认值、模式定义、定价和API密钥。快速入门指南包含五个步骤：构建内容寻址索引、检查工具层、运行基准测试、执行消融研究以及探索结果。此外，SOCBench还提供了易于扩展的接口，允许用户添加新工具、评估单元类型、提供商适配器、角色或评分透镜，无需修改核心代码。

完整的方法论涵盖了评估单元、角色×工具矩阵、代理循环、评分模型、成本模型、修复策略、采样、消融和运行产物，全部实现于src/socbench模块中。项目采用Apache-2.0许可证发布，鼓励社区贡献和二次开发。