職業型AIエージェントの既存ベンチマークは、主に経済的価値によって範囲が定められており、そこには「人間を代替する」という物語が含まれている。Yuetai Li氏ら24名による論文「JobBench: Aligning Agent Work With Human Will」は、2026年5月25日にarXivへ投稿されたもので、この前提を問い直す。GDP価値ではなく、人間の実際のニーズに基づいて、人々が本当に任せたい仕事をエージェントが遂行できるかを評価しようという発想である。
そのために構築されたのがJobBenchである。タスクは経済的生産性の順位ではなく、各分野の専門家がエージェントへの委任に適した優先度の高い業務として挙げたワークフローに基づいて選ばれている。対象は35職種にまたがる130のエージェントタスクであり、現実の専門業務に近い複雑さを目指している。
タスクの設計も特徴的だ。整然とした構造化入力ではなく、各タスクは多様な形式の参照ファイルが混在するワークスペースとして提供される。エージェントは人間と同様に、雑然とした情報の流れを読み解き、推論し、成果物をまとめることを求められる。これは学術ベンチマークにありがちな整理された問題設定よりも、実際の職場の状況に近い。
評価には事実に基づくルーブリックの連鎖を採用し、二値判定の基準を積み重ねて出力の質を測る。1タスクあたり平均35.6項目の基準が用意されており、「もっともらしい答え」と「本当に正しい答え」を細かく区別できる仕組みになっている。
研究チームはこのベンチマークで36のモデルを評価した。その結果、最先端のシステムでも信頼できる水準にはほど遠いことが示された。Claude Code上で動作するClaude Opus 4.7が記録したスコアは45.9%にすぎない。現実の職業ワークフローの雑多さと多様性に対して、最新モデルにも明確な弱点が残っていることを示す数字である。
著者らはJobBenchを通じて、AIが労働市場に与える影響についての目標設定を変えることを望んでいる。すなわち「代替」ではなく「増強」である。人間が委任したいと考える仕事を実際にこなすエージェントを構築することであり、単に経済的価値が最も高い仕事をこなすことではない。この立場は、ベンチマークが何を問うかによって業界が追求する能力そのものが形づくられるという、評価設計の価値観的な性格も示している。