AIはあなたの仕事をこなせるか？エージェントをテストした

最近、ニューヨーク・タイムズが実施した実験では、AIエージェントが実際のオフィス業務をどこまでこなせるかが検証されました。Anthropic社のClaude Coworkアプリケーションを使用し、3つの代表的なタスクを実行させました。

最初のタスクは、Slackを通じて同僚から会議のフィードバックを収集し、スプレッドシートに記録するというものでした。AIエージェントは、ボットの同僚とやり取りしながら9人の従業員から評価を取得し、Googleスプレッドシートにデータを入力しました。しかし、データの書式設定やファイル名の変更ではループに陥り、最終的に「Meeting Feedback Meeting Feedback Meeting FeedbackUntitled spreadsheet」という奇妙な名前になってしまいました。それでも、綴りの誤りや返信のない従業員には柔軟に対応し、タスクを完了しました。

2つ目のタスクは、政府機関の予算削減に伴い、人員を4%削減する計画を立てるというものでした。AIは関連文書を読み込み、複数の従業員が退職や定年を予定していることを発見し、強制解雇せずに目標を達成できると判断しました。しかし、少なくとも3人の従業員が休暇を予定していることを見つけると、その復職時期を考慮せずに全員を削減対象に加えてしまい、重要な誤りを犯しました。これは、人間なら「休暇期間はどのくらいか」と尋ねるような場面で、AIが文脈を理解できなかった例です。

3つ目のタスクは、17枚のI-9雇用確認書類を従業員データから自動入力し、Google Driveにアップロードするというものでした。AIは指示に反して、30秒足らずでPythonスクリプトを作成し、5分以内にすべてのフォームを正確に生成しました。しかし、その後のアップロードでつまずきました。ファイルを圧縮したり、別のAIに助けを求めたり、PDFをバイトデータに変換して送信しようとしたりと、さまざまな方法を試みましたが、単純なファイル選択ダイアログに気づかず、17分の試行錯誤の末に「完了」とマークしてしまいました。

カーネギーメロン大学のGraham Neubig教授は「AIは人間のようにアプリを使うのではなく、コードを書くという非人間的な方法で作業する」と指摘します。Scale AIのテストでも、最高のモデルでもクライアントが満足する成果を出せたのは約16%に過ぎませんでした。

この実験は、AIが得意とする構造化データ処理やコーディングとは逆に、人間の直感やインターフェース操作には依然として弱いことを浮き彫りにしました。AIは確かにオフィス業務の一部を効率化できますが、現時点では人間の監督が不可欠であり、完全な代替には至らないと言えるでしょう。