本文にスキップ
AI News HubLIVE
その他
要約のみ

AIに年間4億ドルを節約し、40億人をオンラインにする安価な修正

Codecは、トークンIDをエンドツーエンドのワイヤー形式として保持することで、AI推論スタックにおける繰り返しのデトークン化と再トークン化を排除する新しいプロトコルです。データ量を16〜1700倍削減し、世界のAIコストを年間約4億ドル節約し、低速または高価な接続環境にある約50億人のユーザーがAIを利用できるようにします。

ソースHacker News AI著者: Zombwaffle
AIに年間4億ドルを節約し、40億人をオンラインにする安価な修正
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • CodecはJSON-SSEの代わりにトークンIDを直接送信し、ワイヤーデータを16〜1700倍削減します。
  • クラウドエグレス、GPUブロック済みプロンプト、Starlinkコストなどにより、年間約4億ドルを節約します。
  • 接続環境の悪い約50億人のユーザーがAIを利用可能になります。
  • ツールディスパッチやクロスモデルハンドオフが生のトークンIDで実行され、効率が10倍以上向上します。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。