Supabase、Claude Code・Codex・OpenCodeを実タスクで評価するオープンソースベンチマーク「Evals」を公開

Supabaseは、AIエージェントがSupabase上でどれだけ構築できるかを評価するベンチマーク＆フレームワーク「Supabase Evals」をオープンソースとして公開しました。Claude Code、Codex、OpenCodeといったコーディングエージェントに、スキーマ構築、Edge Functionのデバッグ、壊れたRLSポリシーの修正といった実タスクを実行させ、その結果を採点します。このフレームワークはsupabase.com/evalsの公開リーダーボードを支えるほか、毎日実行される内部リグレッションテストにも利用されています。

EvalsはApache-2.0ライセンスで公開され、pnpmを使ってローカルで実行できます。実行にはDockerデーモン、プロバイダのAPIキー、ポート54321〜54329の空きが必要です。Fintechやヘルスケアなど規制の厳しいバックエンドでは、エージェントが誤ったRLSポリシーを作成するとセキュリティインシデントになり得るため、こうした評価は特に重要です。

シナリオ設計では、製品（データベース、認証、ストレージ、Edge Functions、Realtime、Cron、キュー、ベクター、Data API）、トピック（RLS、セキュリティ、マイグレーション、SQL、SDK、オブザーバビリティ、セルフホスティング、テスト、宣言的スキーマ）、ステージ（ビルド、デプロイ、調査、解決）という3つの軸を定義。サポートチケットやバグレポート、GitHub Issueに基づき、各軸を最低1回はカバーする最小のシナリオセットを選定しました。シナリオは公開されるベンチマーク用と、毎日更新されるリグレッション用に分かれており、後者は公開スコアを変更しません。

各シナリオは実際の環境で実行されます。フレームワークはホスティング相当のスタックとローカルCLIプロジェクトをコンテナ内で起動するため、エージェントは実際のMCPサーバーやCLIを呼び出します。採点は決定的チェックとLLM-as-a-judgeを組み合わせ、エージェントには採点前に1回の再試行が許可されます。各evalディレクトリにはPROMPT.md（タスクとフロントマター）、EVAL.ts（採点スクリプト）、任意のremote/およびlocal/初期状態が含まれます。local/ワークスペースを同梱するかinterface: cliを宣言すると、実際のCLIがインストールされたDockerサンドボックスが起動します。

初期結果では、多くのシナリオでスキルなしでもエージェントが合格しました。Buildステージでは、Opus 5とKimi K3が補助なしで100%を達成。スキルを追加することで、Sonnet 5は78%→100%、GPT-5.6 Solは89%→100%、GPT-5.4 miniは78%→89%に向上しました。一方、エージェントが宣言的スキーマではなくマイグレーションを手書きする、@supabase/serverを使わず認証を手動で検証する、ドキュメント参照量がモデル間で大きく異なる（Codex / GPT-5.6はシナリオあたり約8ページ、Claude Codeは約2ページで、スキルを読み込んでも40%未満のシナリオでしかドキュメントを確認しない）といった課題も浮き彫りになりました。Supabaseはこれらの結果を受けてスキルガイドの更新やパッケージ選定ガイドの追加を行っています。Evalsは、コーディングエージェントを本番に近い環境で再現性高く評価したいチームにとって有用な基盤となるでしょう。