トークン資本効率

Satya Nadella氏は最近、AI駆動経済における未来の企業像について優れた記事を発表し、人的資本や財務資本と並ぶ「トークン資本」の概念を紹介しました。その自然な拡張として「トークン資本効率」があります。これは、トークンに投資された1ドルあたりに組織が獲得するビジネス価値、すなわち、推論、タスク実行、学習にわたって、消費されたトークンの量にその価格を掛けたもので価値を割ったものと定義できます。効率が高いほど、トークンあたりの価値が大きいか、成果あたりのトークン消費が少ないか、トークンをより安く調達できていることを意味します。これは、組織が価値ある知識作業をLLMが確実に処理できるトークンとして表現できるかという、企業にとって新しい動きに直接依存します。

現在、トークン資本効率が高い企業はほぼ存在しません。誰もが手探りで進んでおり、しばしばテクノロジー予算を損なっています。約18か月で、トークン最大化からトークン支出への反発が一周しました。CFOや取締役会は予期せぬ請求書に疑問を持ち始めています。中心には、「AIをやろう」と急ぐ企業と財務責任の必要性との間の核心的な緊張があります。このテクノロジーの使用パターンは他のエンタープライズソフトウェアとは異なり、同時にユビキタスであり、使用量ベースで課金されることが多いからです。その上、進歩の速さから、誰もがタスクに関係なく可能な限り最高のパフォーマンスを得ようと、自動的に最高のモデルをデフォルトで使用します。

ほとんどの組織は、技術的洗練度に関わらず、すべてのユーザーにできるだけAIを使うよう促しています。それは構いません。99％のユーザーはOpus級とHaiku級モデルの能力差を知る必要はありませんが、エンタープライズ規模では意味のある差があります。しかし、「できるだけAIを使え」という指示に境界やガバナンスがないと、まさに明確なリターンプロファイルなしに請求額が膨らむ原因となります。このアプローチはまた、結果のばらつきに悩まされます。なぜなら、人々はしばしば2文のプロンプトを書いて最良を期待するからです。

私たちは、モデルが非常に優れてきて、フロンティアと「コモディティ化された」AI使用の要件に二極化が生じている時点にいます。フロンティア能力は、真の未知の探求、複雑な活動の計画、より高度な推論に役立ちます。より一般的で明確に定義されたタスクには、フロンティアモデルは過剰である可能性があります。この記事は、構造化されよく理解されたタスクに対するアプローチがどのようなものかを取り上げています。

影響を与える最も明白な方法は、タスクの複雑さとモデル能力を一致させることです。しかしそのためには、タスク自体がよく理解されている必要があります。意味のあるタスクを定義するために時間をかけることで、トークン資本効率を劇的に向上させることができます（つまり、コストを削減し、同時に成果を改善する）。

コンピューターに何かをさせるすべての方法を、完全に決定論的から完全に確率的までの単一のスペクトルとして想像してください。左端は従来のコンピュータプログラムです：公式的で決定論的であり、構造上測定可能です。右に移動するにつれて、決定論を柔軟性と引き換えにし、方法のより多くをモデルに委ねます—最初は仕様、次にワークフロー、そして「ナッジ」—右端では生のLLMプロンプト：最大の柔軟性、最小の保証。ここで重要なのは、「何を」が決して消えないことです。常に意図があります。つまり、達成したいことです。消えていくのは「どのように」の指定だけです。

ほとんどのエンタープライズユーザーとトークン最大化主義者は右側に住んでいます：すべてをモデルに委ねます。特定の作業には合理的な場所です。例えば、コーディングエージェントはこれに適しています。成熟したコードベースはテストという形でモデルにぶつかる何かを与えるからです。失敗するテストは境界です。今日のほとんどの知識作業にはそのような境界がなく、少なくともテストとしてデジタル化されたものはなく、これが結果のばらつきとそれに伴うフラストレーションの原因です。

しかし、知識労働者が行う多くのタスクは、明確に定義された境界を持つことができるため、このチャート上で左に移動し、トークン資本効率を大幅に向上させることができます。これをうまく行うには、タスクを定義し、モデルをマッチングし、結果を測定し、最適化するという一連の手順に帰着します。複雑なプロセスを個別のタスクに分解することで、ばらつきが減ります。

効果的な個別タスクは通常、特定の基準やプロセスステップを含むかもしれない明確に定義された入力セットと、出力の受容性を測定できるような望ましい出力セットです。例えば、請求書を調べて、特定の明細項目に関するいくつかの重要な詳細を抽出し、データベースに入れてプログラムで扱える形式で出力したいとします。人間にPDFとスプレッドシートを与えることも、Claudeにこれらを投げて目的と望ましい出力を概説することもできます。どちらも、変動性、一貫性、速度、コストの点でトレードオフがあります。プロセスの各ステップを極めて詳細に書き留めない限り、仕様にはほぼ常にギャップが生じます；フィードバックメカニズムはなく、ビジネスプロセスを実行するには厄介な方法です。最も重要なのは、プロンプトに残したギャップが出力に潜在的なばらつきをもたらすことです。

確率的なコアを決定論的なシェルで包むことで、モデルの力を活用して「中間」の難しい作業を行わせつつ、プロセスの入力と出力を一貫した方法で理解し監視する能力を保持できます。モデルを包むことは重要です。なぜなら、指定が少なければ少ないほど、モデルは「即興」する必要があり、LLMにとってそれは学習データの平均に向かう傾向があるからです。AnthropicのThariq氏は次のように見事に述べています：「あなたが残すすべてのギャップを、Claudeは分布内の選択で埋める。」

入力、出力、プロセスをどのように指定するかについて徹底することは、複合的な差別化要因にもなります：あなたが定義し、評価を構築するタスクのセットはすべて、あなたが所有するものになります。それはあなたの会社をユニークにする専門知識とIPです。評価は、与えられた入力セットに対してプロセスが許容可能な品質の出力を提供し、期待通りに動作していることを知るためのメカニズムです。同様に重要なのは、IPが合成可能であることです。エージェントは、毎回車輪を再発明することなく（そしてトークンを費やすことなく）、戦闘で鍛えられたタスクを連鎖させることができます。

測定による適切なモデルへのマッチング

タスクが定義されると、最初の問題が戻ってきます：どのモデルで実行すべきか？誘惑は評判やベンチマークで答えることです。フロンティアモデルに手を伸ばして先に進みます。しかし、評判やスコアだけでは意思決定に十分な情報を与えません。より効果的な方法は、定義したタスクに対して候補を測定することです。少なくとも2つの測定可能な次元が重要です：能力とコスト。タスクを定義していなければ、その成功率を測定できません。成功を測定できなければ、2つのことが続きます：CFOが受け入れる規模で成果（またはリターン）を定量化できず、許容可能なパフォーマンスレベルを維持しながら別のモデルに移行できません。なぜなら、そもそも保持するパフォーマンスバーを定義していなかったからです。これはSatya氏が最近述べた点と同じです：「企業は、学習システムに組み込まれた『会社のベテラン』の専門知識を失うことなく、『ゼネラリスト』モデルを切り替えられるべきである。」

あなたのIPをキャプチャする足場を構築する機会があります。そうすれば、常に最新または最大のモデルをデフォルトで使用する必要を感じなくなります。これは両方向に働きます—コスト曲線を下ることもできますが、より良いモデルの「波に乗る」こともでき、そのたびにワークフローを再設計する必要はありません。なぜなら、すでに定義されているからです。評価結果を評価する能力を得たら、効果的にコスト曲線を下ることができますが、それは自分のビジネスに固有の許容レベルを決定できるからです。公開ベンチマークは良い方向性を示しますが、モデルがあなたの経理部門内でワークフローを実行する能力については何も語りません。特定のタスクにおいて、評価はあなたのIPになります。なぜなら、それはモデルのパフォーマンスを測定する境界だからです。これはまさにSatya氏が言うところの、企業のプライベート評価はビジネスにとって重要な結果に対する改善を追跡すべきであるということです。

すべては最適化問題

タスク定義とそれをスコアリングする評価があれば、すべては最適化問題に変わります。コスト曲線を下ることができます：より小さなモデル、よりタイトなプロンプト、より少ない足場。最初に定義した許容レベル（例：分類タスクで97％の精度を許容できる）をパフォーマンスが超えるまで続けます。その交点が停止点であり、正しく行われれば、コストの桁違いの節約になるかもしれません。仕様と評価がなければ、このチャートすら見えません。その時点では、ただ推測して請求書が減ることを願っているだけです。

自然な最初のステップは、モデルが提供するものをプロンプト最適化によって使用することです—そしてそれは手動で行うものではありません。@DSPyOSS + GEPAのようなフレームワークと技術を使用すると、a) タスクを保守可能で測定可能な方法で構造化し、b) 許容可能な精度でどの安価なモデルがユースケースに機能するかを自動的に識別できます。特定の高容量でよく理解されたプロセスには、ファインチューニングや強化学習がより意味を持ちます。

あなたのトークン資本効率を測定できますか？

明白に聞こえるかもしれませんが、ビジネスの運営に使用される価値あるタスクと評価のインベントリを作成できる企業は、短期的にはコストを節約できるだけでなく、さらに重要なことに、Satya氏が最も重要だと指摘することを実現する準備が整います：「人的資本とトークン資本が複合する学習ループを構築する」ことです。組織は、従業員が全体的な目標を追求するために仕事の一部としてタスクを実行する大規模な複合システムです。重要な作業のデジタルインベントリを作成することを学ぶ組織は、AI時代に競合他社よりも支出が少なくなるだけでなく、複合する知識、モデル能力、コスト改善の恩恵を受ける一方、競合他社はスクラッチからプロンプトを書き直すのに苦労します。高いトークン資本効率を持つ組織が勝つでしょう。