AI請求額が実際よりも高くなる理由

287ドルのデバッグセッションが、一人のエンジニアに大規模言語モデル（LLM）へのデータ供給方法を再考させるきっかけを与えました。その結果、5ヶ月間で推定70万ドルの節約をユーザーにもたらすツールが誕生しました。

Tejas ChopraはGPU障害のデバッグ中、通常の手順でログを抽出しClaudeに問題を特定させたところ、単一のプロンプトがコンテキストウィンドウ全体を2回消費したことに気づきました。モデルはログファイル全体を複数回読み取り、実際に関連する3行だけを抽出する前にすべてを処理していたのです。月間請求額を合計すると、個人プロジェクトで287ドルになっていました。

対策として、INFO行を無視し警告とアラートのみに注目するようプロンプトを書き換えました。応答時間が短縮されトークンコストは下がりましたが、Chopraは依然として不満を感じていました。すべての開発者が手動でプロンプトを調整することを期待できないと考え、自動化の可能性を模索し始めました。

その結果がHeadroom、LLM向けのオープンソースコンテキスト最適化レイヤーです。Linuxオープンソースサミットでプロジェクトを発表した際、このアイデアは大きな共感を呼びました。統計収集を停止する前、Headroomはユーザーに70万ドルの節約をもたらし、5ヶ月で2000億トークンを回収しました。この初期の成功を受けてChopraはシニアエンジニアの職を辞し、Headroom Labsを設立しました。

Headroomの圧縮パイプラインは3つの段階を経て進化しました。最初の標的はJSONで、空白、カンマ、引用符、ネストされたインデントを除去することで、データを失うことなく30%の節約を実現します。次に、値の統計的類似性を探して圧縮します。例えば、配列の90個中88個の値が0から1の間で、2つが99と100の外れ値の場合、すべての値を送信する必要はなく、外れ値と要約のみを送信します。さらに、圧縮された各ペイロードはキャッシュエントリによってバックアップされ、キャッシュキーはセッションIDと元のデータのハッシュから構成され、セッション間の汚染を防ぎます。元のデータはローカルのRedisまたはSQLiteに保存され、デフォルトのTTLは5〜30分で、エンタープライズ導入時にはRDSやBigtableなどのデータベースを使用できます。

圧縮のリスクは、モデルが破棄されたデータを必要とする可能性があることです。Chopraの解決策は、圧縮出力にツールコールを残すことです。モデルはこれを呼び出して完全な元データを取得できますが、その発生は1%未満です。統計的圧縮は十分に保守的であり、モデルも十分にインテリジェントであるため、圧縮バージョンに必要な情報がすべて含まれているはずです。

Headroomはコンテキストタイプごとに異なる圧縮器を使用します。コードには抽象構文木、ロックファイルには専用の処理、Webページ（ドキュメント、APIリファレンス、Stack Overflowの回答など）には別の方法、非構造化テキストにはKompress Baseという小型のオープンソースモデルを使用します。このモデルは、各単語を削除しても周囲のテキストの意味が変わらないかどうかを判断することで圧縮文法を学習します。

現在、Headroomは入力のみを圧縮し、出力トークンの圧縮は開発中です。ローカルファイル読み取り（典型的なコーディングエージェントフローでコンテキストの約60%を占める）は圧縮せず、代わりにSerenaやCodeMCPなどのツールと統合して読み取り範囲を削減します。

もう一つの興味深い機能は「learn」メカニズムで、過去のエージェントセッションから繰り返し発生する失敗パターンを抽出し、修正をCLAUDE.mdファイルに自動的に書き込みます。これにより、エージェントが複数のセッションで同じ間違いを繰り返す問題を解決します。

Headroom構築の主な課題は統合です。LLMプロバイダーごとにAPI方言が異なり、ルーティングレイヤー（Bedrock、Vertex AI、Azure）がさらにバリエーションを導入します。コーディングエージェントやツールの多様性により互換性マトリックスはさらに複雑化しています。HeadroomはClaudeとCodexに対してファーストクラスのサポートを提供し、その他は実験的としています。

Chopraは、トークンハイジーンを新しいエンジニアリング分野として扱うことを提案します。トークンバジェットをコンピュートクレジットのように管理し、データがプロバイダーに届く前に圧縮することで、プロバイダーが提供するインセンティブのないAI支出の可視化が可能になります。