BenchLocal – 基於AI的本地商業搜索工具

BenchLocal 是一款面向 AI 開發者和研究人員的本地優先桌面應用程序，旨在簡化大規模語言模型（LLM）的評估和比較過程。它允許用户運行、比較和管理可安裝的 LLM 基準包（Bench Packs），這些基準包可以針對本地或遠程模型執行。BenchLocal 的核心功能包括模型註冊表管理、基準包的安裝與更新、每次運行的執行和結果歷史記錄，以及驗證器的生命週期管理。此外，它還提供了桌面 UI 狀態持久化功能，確保用户體驗的連續性。

目前可用的官方基準包包括 ToolCall-15、BugFind-15、DataExtract-15、InstructFollow-15、PromptAuthority-15、ReasonMath-15、StructOutput-15、CLI-40 和 HermesAgent-20。這些基準包涵蓋了工具調用、錯誤查找、數據提取、指令跟隨、推理數學等多個方面，能夠全面評估模型的性能。每個基準包都擁有自己定義的場景、提示詞、評分邏輯以及驗證器契約，確保評估的準確性和一致性。

BenchLocal 還支持代理訪問（Agent Access），允許 AI 代理和自動化工具通過 HTTP API 或 MCP（Model Context Protocol）協議控制基準測試工作流。用户可以在設置中啓用代理訪問，獲取 Bearer Token 和相關的 API 地址。API 支持 JSON 命令，用於列出基準包、管理提供者和模型、創建標籤頁、選擇模型、開始運行等操作。實時進度可通過 Server-Sent Events 獲取。MCP 兼容的代理可以連接到 /mcp 端點，使用標準的 benchlocal_* 工具和 BenchLocal 狀態資源，這是推薦集成的路徑。

項目採用 MIT 許可證，源代碼託管在 GitHub 上，主要使用 TypeScript 編寫。開發者可以參考項目中的文檔瞭解架構、基準包編寫規範以及跨平台打包方法。BenchLocal 的目標是提供一個靈活、可擴展的 LLM 評估平台，幫助研究者和開發者更好地理解和比較不同模型的實際表現。