ドットコム時代の帯域幅から学ぶAIトークンコストパニック

私のキャリア初期、インターネット帯域幅は極めて高価でした。T1回線は1.544 Mbpsで月額1000ドルもしていました。現在では、ギガビット光回線が月60ドルで利用でき、T1の600倍以上の容量があります。当時、帯域幅はすべての製品チームが直面する第一の壁でした。どのコーデックを使うか？圧縮率は？この機能はユーザーあたりどれだけの伝送コストがかかるか？容量をどう迅速に増やすか？エンジニアリングの分野全体がこれらの制約の中で機能していました。最適化は現実のものであり、不安も現実のものであり、当時の経済状況を考えれば完全に合理的でした。

しかし、その後の10年間で帯域幅の価格は暴落しました。大規模なインフラ整備、プロバイダー間の競争、伝送技術の継続的な向上により、メガビットあたりのコストは容赦なく低下しました。かつてあらゆる製品チームにとって最優先の関心事だったものが、実質的に誤差範囲になりました。今日、帯域幅の不足を理由に製品を設計する人はほとんどいません。コストは技術的には存在しますが、スタックの他の要素と比べて低すぎて、意思決定変数としてカウントされなくなっています。

AIトークンのコストは現在、帯域幅と同じ初期段階にあります。Anthropicの収益は過去約1年で10倍以上に成長しました。この数字は、業界全体でトークン消費が急拡大していることを反映しており、企業や開発者の支出を映し出しています。これらのモデルに真剣に構築している人にとって、コストは現実的で、重要で、増加しています。適切な対応は帯域幅時代と同じです。最適化です。キャッシュ戦略、モデル選択、プロンプト効率、コンテキストウインドウ管理、そしてNVIDIAとMicrosoftがこれまで以上にカスタムシリコンを推進していることなど、すべて真剣なエンジニアリングの注意に値します。今日のトークンコストにおいて、よく考えられたアーキテクチャと素朴なアーキテクチャの差は本当に大きいです。節約は重要です。

しかし、帯域幅時代を生き抜いて実際に学んだことは技術的なものではなく、より感情的なものです。当時、インターネット製品の経済性がスケールするかどうかについて、本当の不安がありました。コストは構造的で永久的に見えました。賢い人々は帯域幅不足が永続的な風景条件であるという前提に基づいて、戦略的フレームワーク全体を構築しました。私が学んだのは、市場がこれを解決するのを信頼できるということです。モデルプロバイダー間の競争はすでに価格を押し下げています。NVIDIAやMicrosoftなどのカスタムシリコンの取り組みは加速しています。モデル効率は世代ごとに向上しています。方向性は疑いようがありません。3年かかるか10年かかるかは不明ですが、軌道は決まっています。

いつか、数十億のトークンを消費することは、今日のデータ伝送で数十億ビットを消費するのと同じように感じられるでしょう。コストは存在するが、背景に過ぎず、設計の対象にはなりません。

ですから、今は最適化してください。節約は現実的であり、その作業には価値があります。しかし、制約は一時的であり、永続的ではないという自信を持って構築してください。帯域幅不足を第一原則として内部化したチームは、移行を乗り切れませんでした。制約の中で最適化しつつ、それを超えた世界に向けてアーキテクチャを設計したチームは、生き残るものを作りました。