人工智能代理的最后考试：面向真实世界专业工作流程的基准测试
“代理的最后考试”是一个由伯克利RDI和300多位行业专家共同构建的大规模基准测试，覆盖55个细分行业和1500多个任务，旨在评估AI代理在长期、经济价值高且结果可验证的真实工作流程中的表现。该基准通过Adobe After Effects、Siemens NX、Unreal Engine等专业软件中的具体任务，衡量代理在动画、工程、游戏开发、制造、建筑、神经科学等领域的实际能力。
伯克利研究数据计划（Berkeley RDI）与超过300位行业专家合作，推出了“代理的最后考试”（Agents' Last Exam），这是一个旨在评估AI代理在真实世界专业工作流程中表现的大规模基准测试。该基准覆盖了所有55个目标细分行业，包括动画、工程、游戏开发、制造、建筑和神经科学等领域，目前已经收集了1500多个任务，最终目标达到5000个。与传统的AI基准不同，这个基准专注于长期、高经济价值的任务，并且所有结果都可以客观验证。
基准中的任务涉及多种专业软件。例如，在动画和视觉效果领域，代理需要在Adobe After Effects中完成动画制作和视觉特效任务；在工程领域，代理需要在Siemens NX中进行3D模型创建和编辑；在游戏开发方面，代理需要在Unreal Engine中完成场景设置、资产放置和渲染。此外，还有制造领域的Moldex3D模具流动分析、建筑领域的Rhino 3D建模和能源分析，以及神经科学领域的FSLeyes脑成像分析等。这些任务确保了评估的广泛性和实用性。
“代理的最后考试”得到了众多顶尖学术机构和行业合作伙伴的支持，包括MIT、哈佛、斯坦福、加州大学伯克利分校、牛津、CMU、Caltech、ETH Zurich等，以及Goldman Sachs、JPMorgan、Adobe、Oracle、HubSpot等企业。项目还设立了顾问委员会，由来自不同领域的知名专家组成，如布朗大学的George Em Karniadakis、Caltech的Tapio Schneider等。
项目鼓励各界贡献任务和专业知识。领域专家可以无需编程知识即可贡献真实工作流程数据，而研究人员和工程师则可以将工作流程转化为可重复的基准测试任务。合格的贡献者将获得研究出版物的合作署名，并有机会从10万美元以上的资金池中获得现金奖励。该项目旨在为行业内的AI代理评估设定标准，并提供对代理在行业中真实表现的重要洞察。