跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

JobBench:让智能体的工作与人类意愿对齐

文章摘要

JobBench 是一个新基准,从“人类真正希望委派什么”出发评估职业型 AI 智能体,而非按经济价值衡量替代潜力。它覆盖 35 个职业的 130 个任务,最强的模型 Claude Opus 4.7 在 Claude Code 下也仅得 45.9 分。

来源arXiv AI作者: Yuetai Li, Yichen Feng, Zhangchen Xu, Zixian Ma, Kaiyuan Zheng, Fengqing Jiang, Xinghua Sun, Rulin Shao, Zichen Chen, Yue Huang, Xinyang Han, Brian Lee, Kayla Xu, Shenglai Zeng, Hang Hua, Xiangliang Zhang, Basel Alomair, Ranjay Krishna, Luke Zettlemoyer, Pang Wei Koh, Bhaskar Ramasubramanian, Luyao Niu, Xiang Yue, Radha Poovendran
JobBench:让智能体的工作与人类意愿对齐
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

当前针对职业型 AI 智能体的基准,大多以经济价值作为主要标尺,隐含的是一种“替代人类”的叙事。由 Yuetai Li 等 24 位作者提交、2026 年 5 月 25 日发布于 arXiv 的论文《JobBench: Aligning Agent Work With Human Will》提出了另一种思路:与其用 GDP 价值决定智能体应当做什么,不如根据人类的实际需求,评估它们能否胜任人们真正想要交办的工作。

为此,研究团队构建了 JobBench。该基准的任务选择并非来自经济产出的排序,而是来自各领域专家所认定的、最优先适合委派给智能体的工作流。它共包含 130 个智能体任务,横跨 35 个职业,试图贴近真实专业场景的复杂度。

在任务设计上,JobBench 并未给出结构化的干净输入。每个任务都被打包成一个工作区,其中混杂着多种类型、格式不一的参考文件,要求智能体像人一样,从杂乱的信息流中理出头绪、完成推理并产出结果。这种设计显然更接近实际办公室里的工作状态,而非学术基准中常见的整洁题目。

评估方面,JobBench 采用了一条以事实为锚点的评分链,由一系列二元判定标准逐层核定输出质量,平均每个任务包含 35.6 条这样的标准。这种细粒度的评分方式有助于区分“看起来合理”与“真正正确”的回答。

研究团队据此评测了 36 个模型。结果显示,当前最强的系统也远未达到可靠水平:在 Claude Code 环境下运行的 Claude Opus 4.7 得分仅为 45.9%。这一数字说明,即便是前沿模型,面对真实职业工作流的杂乱与多样,仍存在明显短板。

作者希望 JobBench 能推动社区改变对 AI 劳动市场效应的目标设定:从追求“替代”转向追求“增强”,即构建那些真正完成人类愿意委派之事的智能体,而不只是做经济价值最高的事。这一立场也提醒评测设计本身具有价值导向,基准选择什么问题,会塑造行业追求什么样的能力。

展开要点与分析

文章情报

工程师进阶

要点

  • JobBench 覆盖 35 个职业、130 个智能体任务,选题依据是专家认为最值得委派的工作流。
  • 每个任务由杂乱异构的参考文件构成工作区,并以平均 35.6 条事实锚定的二元标准评分。
  • 36 个模型中最高分仅为 45.9%,显示职业级智能体仍有很大提升空间。
  • 作者希望把劳动市场影响的目标从“替代”转向“增强”。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

JobBench:让智能体的工作与人类意愿对齐 | AI News Hub