チームを縮小せずにトークン予算を削減する方法

NVIDIAのCEO、ジェンスン・フアン氏はGTC 2026閉幕後に出演したAll-In Podcastで、エンジニアの価値を測る独自のテストを提案した。年収50万ドルのエンジニアが年間に消費するAIトークンの価値が、その給与の半分に満たない場合、「深く憂慮する」と述べ、NVIDIAはエンジニアリング部門全体で年間20億ドルのトークン費用を目標としていることを明らかにした。

フアン氏が描くのは、多くの企業が静かに行ってきたトレードオフだ。かつて人件費に充てられていた資金が、ますますトークン費用に回されている。主要なハイパースケーラー4社の2026年の設備投資総額は約7,000億ドルに達し、前年のほぼ2倍。一方、再就職支援会社Challenger, Gray & Christmasのデータによれば、AIは4カ月連続で米国の人員削減理由のトップとなっている。

Metaの内部メモによると、5月に8,000人を削減したのは、売上高が33％成長した四半期における巨額投資を相殺するためだった。こうした企業の人員削減は存続のためではなく、資金調達のためだ。問題は、その資金調達が約束した成果をもたらしていないことだ。Gartnerが年収10億ドル以上の企業の幹部350人を対象に調査したところ、AIエージェントや自動化を導入し、約80％が人員を削減したが、投資利益率の向上との相関は見られなかった。アナリストのHelen Poitevin氏は「人員削減は予算の余裕を生み出すかもしれないが、リターンは生み出さない」と断じた。

Uberはトークンの教訓を痛いほど学んだ。12月に5,000人のエンジニアにAIコーディングツールを提供したところ、4月までに2026年分のAI予算を使い果たした。COOのAndrew Macdonald氏は、コミットされたコードの70％がAI生成であるにもかかわらず、顧客が感じる何かとのつながりが欠けていると認め、「そのリンクはまだ存在しない」と述べた。

これら2つの失敗を並べると、実際の問題が浮かび上がる。企業はトークン費用を固定費、人員を変動費と見なしたが、実際は逆だ。人員削減は一度きりで、組織の知識を奪う。一方、トークン予算は、誰かがエンジニアリングに取り組めば、いくつもの場所で削減可能なのだ。

トークン予算を削減する方法

最も安上がりな対策は、最も地味なものだ。同じテキストを繰り返し処理するために支払うのをやめること。プロンプトキャッシングは、主要なAPIプロバイダーで標準機能となり、AnthropicやOpenAIの公開価格では、繰り返し入力のコストを最大90％削減する。静的コンテンツ（システム指示や参照文書）は一度処理され、再読み取りは低料金で行われる。

セキュリティ企業ProjectDiscoveryは、プロンプトを再構成することでキャッシュヒット率を7％から84％に向上させ、LLM総支出を59～70％削減した。この単一のエンジニアリング作業で、ほとんどのAI関連の人員削減ラウンドが節約する以上の予算を回復した。

次のレバーは、適切なサイズのモデルにタスクをルーティングすることだ。プロバイダーの価格表では、フラッグシップモデルは小規模モデルの5倍のトークン単価だが、多くの本番環境では、日常的な分類や要約タスクに最も高価な層がデフォルトで使用されている。バッチ処理は、リアルタイム応答を必要としないタスクにさらに50％の割引を提供する。

検索拡張生成（RAG）は別の角度から問題に取り組む。モデルにナレッジベース全体ではなく、関連する部分だけを送信する。プロンプト圧縮は、各呼び出しを膨らませる冗長な例を取り除く。オープンウェイトモデルはさらにコストを削減し、インフラを管理するチーム向けに、フロンティアAPIの価格の数分の一で日常的なワークロードを処理する。

これらの対策は、空き部屋の明かりを消すAI版に過ぎない。Uberが4月の超過後に導入したエンジニア1人あたり月額1,500ドルの上限は、支出規律が最終的には訪れることを示す初期の証拠だ。先を行く企業は、予算に強制される前に、それを選択しているだけだ。

最適化のもう半分は人間

トークン費用の最適化は、節約した資金が生産的な用途に回されて初めて意味を持つ。最も強力な証拠は、人材への投資を示している。Poitevin氏の研究によると、投資利益率を向上させた組織は、AIを従業員の代替ではなく増強に活用していた。

Klarnaは誰もが知る対照実験を行った。OpenAIを搭載したアシスタントで約700人のカスタマーサービス担当者を置き換えたが、顧客満足度は低下した。CEOのSebastian Siemiatkowski氏は、ほとんどの経営幹部が公に認めないことをブルームバーグに語った。「結果は品質低下であり、持続可能ではない」。フィンテック企業は現在、ハイブリッドモデルを採用している。AIがルーティン業務を処理し、再雇用された人間が判断を要する業務を担当する。Gartnerはこのパターンが広がると予想し、2027年までにAIのためにカスタマーサービススタッフを削減した企業の半数が、彼らを再雇用すると予測している。

最適化の論理が緊急かつ必須とする労働力投資が一つある。スタンフォード大学人間中心AI研究所によると、22～25歳のソフトウェア開発者の雇用は2024年以降約20％減少したが、年長のコホートでは増加している。これは、企業が5年後にこれらのシステムを指揮するであろうシニアエンジニアの育成の場を排除していることを意味する。

エンジニアリングによってトークン費用を60％削減した企業には、最下層の採用を継続する予算の余裕がある。それを実行するかどうかは、財務上の決定ではなく、リーダーシップの決定だ。

フアン氏の挑発は、決算電話会議で響き続けるだろう。設備投資額は上昇し続ける。勝ち残る企業は、トークンに最も多くを費やしたり、トークンを賄うために最も多くの人員を削減した企業ではない。彼らは、トークン予算こそが柔軟なラインであり、人員削減ではなくエンジニアリングでそれを圧縮し、浮いた資金をトークンを価値あるものにする人材に費やした企業なのである。