BenchLocal – 基于AI的本地商业搜索工具

BenchLocal 是一款面向 AI 开发者和研究人员的本地优先桌面应用程序，旨在简化大规模语言模型（LLM）的评估和比较过程。它允许用户运行、比较和管理可安装的 LLM 基准包（Bench Packs），这些基准包可以针对本地或远程模型执行。BenchLocal 的核心功能包括模型注册表管理、基准包的安装与更新、每次运行的执行和结果历史记录，以及验证器的生命周期管理。此外，它还提供了桌面 UI 状态持久化功能，确保用户体验的连续性。

目前可用的官方基准包包括 ToolCall-15、BugFind-15、DataExtract-15、InstructFollow-15、PromptAuthority-15、ReasonMath-15、StructOutput-15、CLI-40 和 HermesAgent-20。这些基准包涵盖了工具调用、错误查找、数据提取、指令跟随、推理数学等多个方面，能够全面评估模型的性能。每个基准包都拥有自己定义的场景、提示词、评分逻辑以及验证器契约，确保评估的准确性和一致性。

BenchLocal 还支持代理访问（Agent Access），允许 AI 代理和自动化工具通过 HTTP API 或 MCP（Model Context Protocol）协议控制基准测试工作流。用户可以在设置中启用代理访问，获取 Bearer Token 和相关的 API 地址。API 支持 JSON 命令，用于列出基准包、管理提供者和模型、创建标签页、选择模型、开始运行等操作。实时进度可通过 Server-Sent Events 获取。MCP 兼容的代理可以连接到 /mcp 端点，使用标准的 benchlocal_* 工具和 BenchLocal 状态资源，这是推荐集成的路径。

项目采用 MIT 许可证，源代码托管在 GitHub 上，主要使用 TypeScript 编写。开发者可以参考项目中的文档了解架构、基准包编写规范以及跨平台打包方法。BenchLocal 的目标是提供一个灵活、可扩展的 LLM 评估平台，帮助研究者和开发者更好地理解和比较不同模型的实际表现。