Agent Arena：AIエージェントのDevツールオンボーディングベンチマーク

Agent Arena（2027.dev）は、AIエージェントが開発者ツールを完全に自律的に使い始めることができる難易度を評価するベンチマークプラットフォームです。このプラットフォームでは、AIコーディングエージェントが隔離されたDockerコンテナ内で実行され、タスクプロンプトとURLが与えられます。エージェントは、自律的にドキュメントを発見し、パッケージをインストールし、動作するコードを書き、結果を検証する必要があります。ただし、API資格情報の提供を求められた場合に人間が支援する以外は、一切の人間の助けはありません。

ランキング方法：同じカテゴリ内のプロバイダーは、時間、コスト、エラー、中断の4つの次元で相互にランク付けされます。カテゴリ内で、各次元のランキングが組み合わされて全体の順位が決まります。時間が短く、コストが低く、エラーが少なく、中断が少ないほど、プロバイダーの順位が上がります。複合スコアやレターグレードはありません。すべてのツールコール、エラー、タイミング、トークン使用量が記録されます。ランキングはセッションログから決定論的に決まります。プロバイダーごとに複数の独立した実行が行われ、集計されます。

現在のランキング：1位Daytona（2分21秒、0.81ドル）、2位E2B（1分18秒、0.84ドル）、3位Modal（2分46秒、1.16ドル）、4位Freestyle（3分39秒、1.20ドル）、5位Vercel Sandbox（3分18秒、2.20ドル）、6位Blaxel（8分44秒、3.50ドル）、7位Cloudflare Sandbox（13分11秒、4.73ドル）、8位CodeSandbox（自動サインアップをブロックしたためデータなし）。自分のツールが評価されていない場合は、評価をリクエストできます。