BenchLocal – AIを活用したローカルビジネス検索

BenchLocal は、AI 開発者や研究者向けのローカル優先デスクトップアプリケーションであり、大規模言語モデル（LLM）の評価と比較を容易にすることを目的としています。ユーザーはインストール可能な LLM ベンチパック（Bench Packs）をローカルまたはリモートモデルに対して実行、比較、管理できます。BenchLocal の主な機能には、モデルレジストリの管理、ベンチパックのインストールと更新、各実行の結果履歴、検証器のライフサイクル管理が含まれます。また、デスクトップ UI の状態を永続化し、シームレスなユーザー体験を提供します。

現在利用可能な公式ベンチパックには、ToolCall-15、BugFind-15、DataExtract-15、InstructFollow-15、PromptAuthority-15、ReasonMath-15、StructOutput-15、CLI-40、HermesAgent-20 があります。これらはツール呼び出し、バグ発見、データ抽出、指示追従、推論数学など、さまざまな側面からモデルのパフォーマンスを評価します。各ベンチパックは、シナリオ定義、ベンチマーク固有のプロンプト、スコアリングロジック、必要に応じた検証器契約、およびトレースとサマリーを所有しており、評価の正確性と一貫性を確保します。

BenchLocal はエージェントアクセス機能も備えており、AI エージェントや自動化ツールが HTTP API または MCP（Model Context Protocol）を介してベンチマークワークフローを制御できます。設定でエージェントアクセスを有効にすると、Bearer トークンや関連 API エンドポイントが表示されます。API は JSON コマンドを使用して、ベンチパックの一覧表示、プロバイダーとモデルの管理、タブの作成、モデルの選択、実行の開始などの操作をサポートします。リアルタイムの進行状況は Server-Sent Events で取得できます。MCP 対応エージェントは、同じ Bearer トークンを使用して /mcp に接続し、標準の benchlocal_* ツールと BenchLocal 状態リソースを利用できます。

プロジェクトは MIT ライセンスの下で公開されており、ソースコードは GitHub でホストされています。主に TypeScript で記述されており、アーキテクチャやベンチパックの作成方法、クロスプラットフォームパッケージングのドキュメントが提供されています。BenchLocal の目標は、柔軟で拡張可能な LLM 評価プラットフォームを提供し、研究者や開発者がさまざまなモデルの実際のパフォーマンスをより深く理解・比較できるようにすることです。