当前针对职业型 AI 智能体的基准,大多以经济价值作为主要标尺,隐含的是一种“替代人类”的叙事。由 Yuetai Li 等 24 位作者提交、2026 年 5 月 25 日发布于 arXiv 的论文《JobBench: Aligning Agent Work With Human Will》提出了另一种思路:与其用 GDP 价值决定智能体应当做什么,不如根据人类的实际需求,评估它们能否胜任人们真正想要交办的工作。
为此,研究团队构建了 JobBench。该基准的任务选择并非来自经济产出的排序,而是来自各领域专家所认定的、最优先适合委派给智能体的工作流。它共包含 130 个智能体任务,横跨 35 个职业,试图贴近真实专业场景的复杂度。
在任务设计上,JobBench 并未给出结构化的干净输入。每个任务都被打包成一个工作区,其中混杂着多种类型、格式不一的参考文件,要求智能体像人一样,从杂乱的信息流中理出头绪、完成推理并产出结果。这种设计显然更接近实际办公室里的工作状态,而非学术基准中常见的整洁题目。
评估方面,JobBench 采用了一条以事实为锚点的评分链,由一系列二元判定标准逐层核定输出质量,平均每个任务包含 35.6 条这样的标准。这种细粒度的评分方式有助于区分“看起来合理”与“真正正确”的回答。
研究团队据此评测了 36 个模型。结果显示,当前最强的系统也远未达到可靠水平:在 Claude Code 环境下运行的 Claude Opus 4.7 得分仅为 45.9%。这一数字说明,即便是前沿模型,面对真实职业工作流的杂乱与多样,仍存在明显短板。
作者希望 JobBench 能推动社区改变对 AI 劳动市场效应的目标设定:从追求“替代”转向追求“增强”,即构建那些真正完成人类愿意委派之事的智能体,而不只是做经济价值最高的事。这一立场也提醒评测设计本身具有价值导向,基准选择什么问题,会塑造行业追求什么样的能力。