人工智慧代理的最後考試：面向真實世界專業工作流程的基準測試
“代理的最後考試”是一個由伯克利RDI和300多位行業專家共同構建的大規模基準測試，覆蓋55個細分行業和1500多個任務，旨在評估AI代理在長期、經濟價值高且結果可驗證的真實工作流程中的表現。該基準透過Adobe After Effects、Siemens NX、Unreal Engine等專業軟體中的具體任務，衡量代理在動畫、工程、遊戲開發、製造、建築、神經科學等領域的實際能力。
伯克利研究資料計劃（Berkeley RDI）與超過300位行業專家合作，推出了“代理的最後考試”（Agents' Last Exam），這是一個旨在評估AI代理在真實世界專業工作流程中表現的大規模基準測試。該基準覆蓋了所有55個目標細分行業，包括動畫、工程、遊戲開發、製造、建築和神經科學等領域，目前已經收集了1500多個任務，最終目標達到5000個。與傳統的AI基準不同，這個基準專注於長期、高經濟價值的任務，並且所有結果都可以客觀驗證。
基準中的任務涉及多種專業軟體。例如，在動畫和視覺效果領域，代理需要在Adobe After Effects中完成動畫製作和視覺特效任務；在工程領域，代理需要在Siemens NX中進行3D模型建立和編輯；在遊戲開發方面，代理需要在Unreal Engine中完成場景設定、資產放置和渲染。此外，還有製造領域的Moldex3D模具流動分析、建築領域的Rhino 3D建模和能源分析，以及神經科學領域的FSLeyes腦成像分析等。這些任務確保了評估的廣泛性和實用性。
“代理的最後考試”得到了眾多頂尖學術機構和行業合作伙伴的支援，包括MIT、哈佛、斯坦福、加州大學伯克利分校、牛津、CMU、Caltech、ETH Zurich等，以及Goldman Sachs、JPMorgan、Adobe、Oracle、HubSpot等企業。專案還設立了顧問委員會，由來自不同領域的知名專家組成，如布朗大學的George Em Karniadakis、Caltech的Tapio Schneider等。
專案鼓勵各界貢獻任務和專業知識。領域專家可以無需程式設計知識即可貢獻真實工作流程資料，而研究人員和工程師則可以將工作流程轉化為可重複的基準測試任務。合格的貢獻者將獲得研究出版物的合作署名，並有機會從10萬美元以上的資金池中獲得現金獎勵。該專案旨在為行業內的AI代理評估設定標準，並提供對代理在行業中真實表現的重要洞察。