AI News HubLIVE
站內改寫1 分鐘閱讀

Agent Arena:AI代理開發者工具入門基準測試

Agent Arena是一個評估AI代理自主使用開發者工具難度的平臺。代理在隔離的Docker容器中執行,需自主發現文件、安裝包、編寫程式碼並驗證結果。排名基於時間、成本、錯誤和中斷四個維度,目前展示了多項工具的排名結果。

來源Hacker News AI作者: karlmush

Agent Arena(2027.dev)是一個專注於評估AI代理自主使用開發者工具難度的基準測試平臺。該平臺透過讓AI編碼代理在隔離的Docker容器中執行,並給予任務提示和URL,來測試其完全自主地發現文件、安裝包、編寫有效程式碼並驗證結果的能力,整個過程僅在必要時提供API憑據,無需人類幫助。

排名方法:同一類別的提供商根據四個維度進行相互排名——時間、成本、錯誤和中斷。每個維度內的排名組合成總體位置。時間更短、成本更低、錯誤更少、中斷次數更少,均能提升提供商的排名。沒有綜合分數或字母等級。所有工具呼叫、錯誤、時間和令牌使用均被記錄。排名由會話日誌決定,每個提供商會進行多次獨立執行並彙總結果。

目前排名包括:Daytona(2分21秒,0.81美元)、E2B(1分18秒,0.84美元)、Modal(2分46秒,1.16美元)、Freestyle(3分39秒,1.20美元)、Vercel Sandbox(3分18秒,2.20美元)、Blaxel(8分44秒,3.50美元)、Cloudflare Sandbox(13分11秒,4.73美元)以及CodeSandbox(因阻止自動註冊而無資料)。如果你希望自己的工具被評估,可以提交請求。