総合的なAI生産性データはどこに？

テクノロジーニュースが「AIのコストが代替しようとした人間よりも高い」と報じ始めた今、なぜこれほど時間がかかったのか疑問に思う。過去2年間、大小の企業がAIに飛びつくのを見てきたが、その決定の実際のコスト（金銭的・環境的・人的）を測定しようとする試みは稀だ。小規模企業を経営してきた私は、リソースが限られているため、効果のない取り組みはすぐにやめ、まず小さな試験で結果を測定してから拡大する必要があると知っている。

熟練者であれば、AIエージェントを使って品質を維持しつつ特定のプロセスを高速化することは可能だ。私自身、成功例をいくつか経験してきた。しかし、その成功は自分の知識に依存している。AIが間違った方向に進んだときに気づき、非常に初心者のライターの仕事をレビューするようにチェックできる必要がある。この作業を誰にでも任せられるわけではなく、品質を再現できる人材は限られる。そうでなければ、表面的には同じ出力に見えても、知識のある人が関わった結果のパスティーシュにすぎない。

同じことがエージェントコーディングにも起こっている。見かけ上は動作するアプリケーションが得られるが、本番に出すべきではない個人用ツールに過ぎないことが多い。個人の生産性向上には上限があり、ツールの能力は出力のレビュー必要性によって制限される。誰もが生産性を語る中で、AIが全体として測定可能な生産性向上をもたらしているという本格的な研究は見当たらない。

個人レベルのAI生産性向上

個人レベルでは、LLMを使って生産性を高めることは明らかに可能だ。熟練者は選択的にAIツールを導入し、定型的だが完全にスクリプト化できないタスクを処理できる。これは、スプレッドシートをうまく使いこなせるようになったり、簡単なコードで自動化を学んだりしたときに得られる飛躍と似ている。すでにそれができる人にとっては、AIはさらにいくつかのタスクを自動化したり、自動化の作成を高速化したりする。

このレベルの改善は研究データにも現れている。例えばロンドン・スクール・オブ・エコノミクスの報告書『世代間AIギャップを埋める』では、AIを使用するプロフェッショナルは週平均7.5時間を節約している。しかし、非コーダーにとっては、AIがプログラミングのイメージ問題を解決しただけであり、これらの利得はAIなしでも達成できたのではないかという仮説もある。

もう一つの個人生産性向上の報告方法は、仕事を他の誰かに転嫁することだ。それは別のチームや個人かもしれない——ライターはスロップな草稿を修正し、コードレビュアーはプルリクエストに目を通し、QAチームはバグ対応に多くの時間を費やす。読者やユーザーは、不正確なドキュメントに惑わされたり、アプリのバグに遭遇したりする。この場合、個人はより生産的になったと感じるかもしれないが、単に仕事を移動させ、他の人の仕事や体験を悪化させ、品質を低下させているにすぎない。

この2番目の理由から、組織全体の生産性を真に評価するには全体的なアプローチが必要だ。特定の個人やチームだけを見ると、AI使用に基づくタスクの再配分を見逃しやすい。

AIがデータアクセスを促進する触媒として

タスク再配分の問題に加えて、AIの有用性を定量化するのが難しい別の理由がある。AIツールのおかげで、多くのデータが利用可能かつ消費しやすくなった。これにより、非AIの自動化が容易になる。過去にドキュメント作成を拒否していた人々が、今やスキル（ドキュメントそのもの）を大量に生成している。これらを使って、タスク達成に必要なプロセスを簡単に特定できる。反復プロセスの特定は、あらゆる自動化の第一歩だ。

私のプロセスの多くは、MCPサーバーやサイトからのクリーンなMarkdownエクスポートなど、必要なデータへの容易なアクセスによって実現している。これにより、通常のスクリプトで可能なことが増えた。時間とともに多くのタスクをPythonに移行し、スクリプトから返された信頼できるデータに対してAIツールを離散的に使用するようになった。

理解できないコストを正当化できない

AIが個人をどれだけ生産的にしたかという逸話以外に、組織全体で測定可能な改善を示すデータはほとんど見つからない。もしAIが本当に組織全体の生産性を測定可能な形で向上させているなら、そのデータが公表されているはずではないか？ 仮に現実が比較的小さな生産性向上であり、それが既存ツールや簡単なコーディングを教えることで達成できたものだとしたら、AIのコスト（金銭的・環境的・人的）をどう正当化できるのか？ なぜ企業は、可能な限り非AIの方法を奨励し、価値が付加される場面にのみAIを使うようにしないのか？ 社会的コストと人材の採用・育成のメリットを考慮すれば、AIが必要なタスクでさえ、人間が行う方がバランスが取れているかもしれない。

厳密さの欠如に私は不安を覚える。私は幸運にも、物事を道理にかなった形で進め、たとえ時間がかかっても正しいことをしたいと願う人々と仕事をしてきた。私たちはデータドリブンを誇りにする業界で成功してきた。しかし今、多くの仲間が燃え尽きている。あなたが生涯かけて築いてきた専門知識を、AIで置き換えようとする人々に囲まれ、それが可能だという根拠のない信念に基づいて働き続けるのは exhausting だ。この騒動が終わる頃には、ウェブに必要な経験豊富な人々が業界を去ってしまっているのではないかと心配している。AIが私たちが失う専門知識に取って代われるという証拠は、何も見当たらない。