99%圧縮、請求書には1%:10億トークンを監査して理由を探る
著者は、モデルが安くなるにつれてトークン消費が増加し、逆に請求額が上がるパラドックスに直面した。既存の圧縮手法を調査したが、ログやSQLなどエージェント特有のデータには効果が薄かった。そこで、トークンの使用を正確にマッピング・追跡することで99.9%の圧縮率を達成する独自アーキテクチャを開発したが、実際の節約は使用パターンに依存する。
99%圧縮、請求書には1%:10億トークンを監査して理由を探る
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。