Show HN：SOCBench——針對安全運營中心任務的AI開放基準測試

SOCBench是由DeepTempo開發的一款開源基準測試框架，旨在評估推理型大語言模型（LLM）在安全運營中心（SOC）任務中的表現。該框架將模型作為SOC代理，在原始NetFlow資料上執行有限的多輪代理迴圈，模擬真實的安全分析場景。SOCBench支援四種角色：SOC分析師、威脅分析師、對手獵手和檢測工程師，每種角色擁有不同的工具許可權。同時，它整合了OpenAI、Anthropic和Google三大提供商，使用者可靈活選擇底層模型。所有角色和提供商共享相同的評估單元、評分透鏡和消融範圍，確保結果可直接比較。

該基準測試的設計強調本地優先和可復現性。使用者僅需一臺筆記型電腦、三個API金鑰和倉庫中附帶的一個示例parquet檔案，即可在10美元預算內完成一次完整的煙霧測試。SOCBench目前處於alpha階段，但端到端流水線已完全可用，覆蓋從索引構建到消融研究的全部步驟。

安裝過程簡潔，支援uv和pip兩種方式。配置透過YAML檔案管理，包括基準預設值、模式定義、定價和API金鑰。快速入門指南包含五個步驟：構建內容定址索引、檢查工具層、執行基準測試、執行消融研究以及探索結果。此外，SOCBench還提供了易於擴充套件的介面，允許使用者新增新工具、評估單元型別、提供商介面卡、角色或評分透鏡，無需修改核心程式碼。

完整的方法論涵蓋了評估單元、角色×工具矩陣、代理迴圈、評分模型、成本模型、修復策略、取樣、消融和執行產物，全部實現於src/socbench模組中。專案採用Apache-2.0許可證釋出，鼓勵社群貢獻和二次開發。