エージェントの最終試験：現実の専門的なワークフローのためのAIエージェントベンチマーク
「エージェントの最終試験（Agents' Last Exam）」は、バークレーRDIと300人以上の業界専門家が構築した大規模ベンチマークであり、55のサブ産業と1,500以上のタスクをカバーし、長期的で経済的に価値があり検証可能な現実のワークフローにおけるAIエージェントの性能を評価します。Adobe After Effects、Siemens NX、Unreal Engineなどのプロフェッショナルソフトウェアを使用し、アニメーション、エンジニアリング、ゲーム開発、製造、建築、神経科学などの分野でエージェントの能力を測定します。
バークレー研究データイニシアチブ（Berkeley RDI）は、300人以上の業界専門家と協力し、現実の専門的なワークフローにおけるAIエージェントの性能を評価するための大規模ベンチマーク「エージェントの最終試験（Agents' Last Exam）」を発表しました。このベンチマークは、55の対象サブ産業すべてをカバーしており、アニメーション、エンジニアリング、ゲーム開発、製造、建築、神経科学などの分野を含みます。現在までに1,500以上のタスクが収集されており、最終的には5,000タスクを目指しています。従来のAIベンチマークとは異なり、このベンチマークは長期的で経済的に価値のあるタスクに焦点を当てており、すべての結果は客観的に検証可能です。
ベンチマークのタスクは、さまざまなプロフェッショナルソフトウェアを含んでいます。例えば、アニメーションやビジュアルエフェクトの分野では、エージェントはAdobe After Effectsでアニメーション作成や視覚効果のタスクを完了する必要があります。エンジニアリング分野では、Siemens NXで3Dモデルの作成や編集を行います。ゲーム開発では、Unreal Engineでのシーン設定、アセット配置、レンダリングが求められます。さらに、製造分野ではMoldex3Dでの金型流動解析、建築分野ではRhino 3Dでの3Dモデリングとエネルギー解析、神経科学分野ではFSLeyesでの脳画像解析などが含まれます。
「エージェントの最終試験」は、MIT、ハーバード、スタンフォード、カリフォルニア大学バークレー校、オックスフォード、CMU、Caltech、ETH Zurichなどのトップ学術機関や、ゴールドマン・サックス、JPモルガン、アドビ、オラクル、HubSpotなどの企業から支援を受けています。また、ブラウン大学のGeorge Em Karniadakis教授、CaltechのTapio Schneider教授など、さまざまな分野の著名な専門家からなる諮問委員会も設置されています。
このプロジェクトは、さまざまな分野からのタスクや専門知識の貢献を歓迎しています。ドメイン専門家はコーディング不要で現実のワークフローデータを提供でき、研究者やエンジニアはワークフローを再現可能なベンチマークタスクに変換できます。資格のある貢献者は研究論文の共著者として認められ、10万ドル以上の資金プールから金銭的報酬を受け取る機会もあります。このプロジェクトは、業界におけるAIエージェント評価の基準を設定し、エージェントが実際の業界でどのように機能するかについての貴重な洞察を提供することを目指しています。