宣佈推出 AutomationBench-AA

Artificial Analysis 今日宣佈推出 AutomationBench-AA，這是一項獨立的基準測試排行榜，用於評估 AI 代理在真實 SaaS 工作流中的自動化能力。該基準與 Zapier 合作開發，基於 Zapier 的 AutomationBench 私有子集。測試包含 657 個任務，涵蓋財務、人力資源、市場營銷、運營、銷售和支援等六大業務領域，涉及 40 個模擬的 SaaS 應用環境，包括 Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira 和 HubSpot 等。

與 Zapier 官方排行榜不同，AutomationBench-AA 的最終得分衡量的是模型在不違反任何防護欄（guardrails）的情況下完成目標的比率。當前領先的是 Anthropic 的 Claude Fable 5（max）和 Opus 4.8，分別取得 48.6% 和 48.5% 的得分。緊隨其後的是 Google DeepMind 的 Gemini 3.5 Flash（42.6%）和 OpenAI 的 GPT-5.5（xhigh，42.1%）。值得注意的是，Fable 5 在大約 18% 的任務中會回退到 Opus 4.8 模式。

基準測試的關鍵特徵包括：任務基於 Zapier 平臺上的真實工作流模式，並在模擬環境中執行；模型透過 REST API 自主發現所需端點，處理包含無關或誤導性記錄的環境；評分依據近 12,000 個斷言，分為目標（objectives）和防護欄兩類；每個任務執行一次，最多 50 次互動。

核心結果顯示，所有模型均出現防護欄違規，違規率從 Gemini 3.5 Flash 的每任務 0.46 次到 Qwen3.7 Plus 的 1.26 次不等。Gemini 3.5 Flash 在每個違規下完成 15.0 個目標，效率最高。成本方面，模型間差異顯著：DeepSeek V4、Gemini 3.1 Flash-Lite 和 Qwen3.7 Plus 等每個任務成本低於 5 美分，而 Claude Opus 4.8（max）則接近 1.50 美元。

在工作風格上，GPT-5.5（xhigh）每任務平均呼叫 49 次工具，而 Claude Opus 4.8（max）僅 14 次但更謹慎。金融工作流在所有領域中最難自動化，模型平均只能完成約三分之一的金融目標，遠低於支援和運營領域的約 60%。

更多詳細資訊可訪問 Artificial Analysis 網站檢視完整結果：https://artificialanalysis.ai/evaluations/automationbench-aa