宣布推出 AutomationBench-AA

Artificial Analysis 今日宣布推出 AutomationBench-AA，这是一项独立的基准测试排行榜，用于评估 AI 代理在真实 SaaS 工作流中的自动化能力。该基准与 Zapier 合作开发，基于 Zapier 的 AutomationBench 私有子集。测试包含 657 个任务，涵盖财务、人力资源、市场营销、运营、销售和支持等六大业务领域，涉及 40 个模拟的 SaaS 应用环境，包括 Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira 和 HubSpot 等。

与 Zapier 官方排行榜不同，AutomationBench-AA 的最终得分衡量的是模型在不违反任何防护栏（guardrails）的情况下完成目标的比率。当前领先的是 Anthropic 的 Claude Fable 5（max）和 Opus 4.8，分别取得 48.6% 和 48.5% 的得分。紧随其后的是 Google DeepMind 的 Gemini 3.5 Flash（42.6%）和 OpenAI 的 GPT-5.5（xhigh，42.1%）。值得注意的是，Fable 5 在大约 18% 的任务中会回退到 Opus 4.8 模式。

基准测试的关键特征包括：任务基于 Zapier 平台上的真实工作流模式，并在模拟环境中运行；模型通过 REST API 自主发现所需端点，处理包含无关或误导性记录的环境；评分依据近 12,000 个断言，分为目标（objectives）和防护栏两类；每个任务运行一次，最多 50 次交互。

核心结果显示，所有模型均出现防护栏违规，违规率从 Gemini 3.5 Flash 的每任务 0.46 次到 Qwen3.7 Plus 的 1.26 次不等。Gemini 3.5 Flash 在每个违规下完成 15.0 个目标，效率最高。成本方面，模型间差异显著：DeepSeek V4、Gemini 3.1 Flash-Lite 和 Qwen3.7 Plus 等每个任务成本低于 5 美分，而 Claude Opus 4.8（max）则接近 1.50 美元。

在工作风格上，GPT-5.5（xhigh）每任务平均调用 49 次工具，而 Claude Opus 4.8（max）仅 14 次但更谨慎。金融工作流在所有领域中最难自动化，模型平均只能完成约三分之一的金融目标，远低于支持和运营领域的约 60%。

更多详细信息可访问 Artificial Analysis 网站查看完整结果：https://artificialanalysis.ai/evaluations/automationbench-aa