AI請求額が実際よりも高くなる理由

要点

• LLMに送信するデータの大部分は不要で、そのすべてに対して支払いが発生している。287ドルの請求がきっかけで、5ヶ月で70万ドルを節約するツールが生まれた。
• トークンハイジーンは次のエンジニアリング分野：トークンバジェットをコンピュートクレジットのように扱い、タスクに実際に必要なものを測定する。
• プロバイダーはデータを圧縮するが、節約分を還元しない。データがプロバイダーに届く前に圧縮することで、プロバイダーが提供するインセンティブのないAI支出の可視化が可能になる。
• Headroomは統計的圧縮、キャッシュ、検索メカニズムを使用してトークン消費を削減し、JSON、コード、テキストなど異なるコンテキストタイプに応じた圧縮器を備えている。