BenchLocal – 基於AI的本地商業搜尋工具

BenchLocal 是一款面向 AI 開發者和研究人員的本地優先桌面應用程式，旨在簡化大規模語言模型（LLM）的評估和比較過程。它允許使用者執行、比較和管理可安裝的 LLM 基準包（Bench Packs），這些基準包可以針對本地或遠端模型執行。BenchLocal 的核心功能包括模型登錄檔管理、基準包的安裝與更新、每次執行的執行和結果歷史記錄，以及驗證器的生命週期管理。此外，它還提供了桌面 UI 狀態持久化功能，確保使用者體驗的連續性。

目前可用的官方基準包包括 ToolCall-15、BugFind-15、DataExtract-15、InstructFollow-15、PromptAuthority-15、ReasonMath-15、StructOutput-15、CLI-40 和 HermesAgent-20。這些基準包涵蓋了工具呼叫、錯誤查詢、資料提取、指令跟隨、推理數學等多個方面，能夠全面評估模型的效能。每個基準包都擁有自己定義的場景、提示詞、評分邏輯以及驗證器契約，確保評估的準確性和一致性。

BenchLocal 還支援代理訪問（Agent Access），允許 AI 代理和自動化工具透過 HTTP API 或 MCP（Model Context Protocol）協議控制基準測試工作流。使用者可以在設定中啟用代理訪問，獲取 Bearer Token 和相關的 API 地址。API 支援 JSON 命令，用於列出基準包、管理提供者和模型、建立標籤頁、選擇模型、開始執行等操作。即時進度可透過 Server-Sent Events 獲取。MCP 相容的代理可以連線到 /mcp 端點，使用標準的 benchlocal_* 工具和 BenchLocal 狀態資源，這是推薦整合的路徑。

專案採用 MIT 許可證，原始碼託管在 GitHub 上，主要使用 TypeScript 編寫。開發者可以參考專案中的文件瞭解架構、基準包編寫規範以及跨平臺打包方法。BenchLocal 的目標是提供一個靈活、可擴充套件的 LLM 評估平臺，幫助研究者和開發者更好地理解和比較不同模型的實際表現。