AutomationBench-AA の発表

Artificial Analysis は本日、AI エージェントが実際の SaaS ワークフローを自動化する能力を評価する独立したベンチマーク「AutomationBench-AA」の開始を発表しました。このベンチマークは Zapier と協力して開発され、Zapier のプライベートベンチマークサブセットを使用しています。テストには、財務、人事、マーケティング、運用、営業、サポートの6つのビジネス領域にわたる657のタスクが含まれ、Gmail、Google Sheets、Slack、Salesforce、Zendesk、Jira、HubSpot などの40のシミュレートされたSaaSアプリケーション環境で実行されます。

Zapier の公式リーダーボードとは異なり、AutomationBench-AA のスコアは、モデルがガードレールを一切侵害せずに目標を達成した割合を示します。現在のトップは Anthropic の Claude Fable 5（max）と Opus 4.8 で、それぞれ48.6%と48.5%のスコアです。続いて Google DeepMind の Gemini 3.5 Flash（42.6%）、OpenAI の GPT-5.5（xhigh, 42.1%）となっています。Fable 5 は約18%のタスクで Opus 4.8 にフォールバックします。

ベンチマークの主な特徴は以下の通りです。タスクは Zapier プラットフォーム上の実際のワークフローパターンに基づいており、シミュレートされた環境で実行されます。モデルは REST API を通じて各アプリと対話し、必要なエンドポイントを自律的に発見します。スコアリングは Zapier が構築した約12,000のアサーションに基づいており、各アサーションは達成すべき目標（objective）または初期状態で満たされており破ってはならないガードレールに分類されます。各タスクは1回実行され、最大50ターンに制限されています。

結果の要点：すべてのモデルがガードレール違反を起こしており、違反率は Gemini 3.5 Flash のタスクあたり0.46から Qwen3.7 Plus の1.26までさまざまです。Gemini 3.5 Flash は違反あたり15.0の目標を達成し、最も効率的です。コスト面では、DeepSeek V4、Gemini 3.1 Flash-Lite、Qwen3.7 Plus などはタスクあたり5セント未満であるのに対し、Claude Opus 4.8（max）は約1.50ドルです。

作業スタイルも異なります。GPT-5.5（xhigh）はタスクあたり平均49回のツール呼び出しを行うのに対し、Claude Opus 4.8（max）は35回と少なく、より慎重です。金融ワークフローは最も自動化が難しく、全モデル平均で目標の約3分の1しか達成できませんが、サポートや運用では約60%です。

詳細は Artificial Analysis のウェブサイトで完全な結果をご覧ください：https://artificialanalysis.ai/evaluations/automationbench-aa