Show HN：SOCBench——針對安全運營中心任務的AI開放基準測試

SOCBench是由DeepTempo開發的一款開源基準測試框架，旨在評估推理型大語言模型（LLM）在安全運營中心（SOC）任務中的表現。該框架將模型作為SOC代理，在原始NetFlow數據上運行有限的多輪代理循環，模擬真實的安全分析場景。SOCBench支持四種角色：SOC分析師、威脅分析師、對手獵手和檢測工程師，每種角色擁有不同的工具權限。同時，它集成了OpenAI、Anthropic和Google三大提供商，用户可靈活選擇底層模型。所有角色和提供商共享相同的評估單元、評分透鏡和消融範圍，確保結果可直接比較。

該基準測試的設計強調本地優先和可復現性。用户僅需一台筆記本電腦、三個API密鑰和倉庫中附帶的一個示例parquet文件，即可在10美元預算內完成一次完整的煙霧測試。SOCBench目前處於alpha階段，但端到端流水線已完全可用，覆蓋從索引構建到消融研究的全部步驟。

安裝過程簡潔，支持uv和pip兩種方式。配置通過YAML文件管理，包括基準默認值、模式定義、定價和API密鑰。快速入門指南包含五個步驟：構建內容尋址索引、檢查工具層、運行基準測試、執行消融研究以及探索結果。此外，SOCBench還提供了易於擴展的接口，允許用户添加新工具、評估單元類型、提供商適配器、角色或評分透鏡，無需修改核心代碼。

完整的方法論涵蓋了評估單元、角色×工具矩陣、代理循環、評分模型、成本模型、修復策略、採樣、消融和運行產物，全部實現於src/socbench模塊中。項目採用Apache-2.0許可證發佈，鼓勵社區貢獻和二次開發。