Cloudflare Workers AI は、ユーザーに近いデータセンターの GPU 上で世界有数のオープンモデルの推論を提供している。中でも最も高性能かつ最も負荷の高いモデルが、Moonshot の Kimi K シリーズと Z.ai の GLM だ。これらは大規模で長コンテキストの Mixture-of-Experts モデルであり、利用体験は優れているが、メモリ制約のため効率的に提供するのは非常に難しい。
Cloudflare は以前、Workers AI 上で大規模モデルを提供する方法と、推論のプリフィル(prefill)フェーズとデコード(decode)フェーズを分離して GPU あたりの効率を高める方法を紹介した。本記事ではその上に積み重ねる 3 つの手法を解説する。KV キャッシュの量子化、モデル重みの圧縮、そして前二者によって同一 GPU 上の共有ハードウェアに多くのリクエストが載るようになるため、共有 KV キャッシュを保護する完全性チェックである。これらの最適化により、モデル精度を変えずに、より多くの顧客を低コストで支えられるようになった。
すべての実験と本番トラフィックは、オープンソースの推論サービングフレームワークである SGLang 上で実行・ベンチマークされている。Cloudflare は SGLang が市場で最高の性能を提供すると考えており、パッチや新機能をオープンソースコミュニティに還元するため SGLang チームと緊密に協業している。
まず KV キャッシュの量子化について。モデルがテキストを生成する際、処理済みの各トークンのアテンションのキー(K)とバリュー(V)を KV キャッシュに保存する。これにより長い会話でも毎回コンテキスト全体を読み直さずに済む。長コンテキストモデルでは KV キャッシュが急速に増大し、通常はモデルの重みよりも先に GPU メモリを圧迫する。デフォルトではキャッシュは 16 ビット精度(BF16)で保存されるが、Cloudflare は 8 ビット浮動小数点(FP8、e4m3)に変更し、サイズを半減させた。Kimi K2.6 では、メモリに保持できるコンテキスト量が約 68.6 万トークンから約 137 万トークンへと 2 倍になる。
ここで利点の源泉を正確に押さえておきたい。量子化自体が raw な速度向上をもたらすわけではない。FP8 のアテンションカーネルは読み取り時に値を変換するため、トークンあたり若干の計算が増える。変わるのは同時に常駐できるリクエスト数である。分離型 H200 デプロイ上の Kimi K2.6 デコードでアテンションカーネルを直接比較すると、BF16 はどの同時実行レベルでも 1 トークンあたり数パーセント高速だが、同時 32 リクエストでキャッシュが尽きて 33 件目を受け入れられない。FP8 は 64 まで継続でき、毎秒 2,192 トークンに達する。BF16 のピークより約 41% 高く、トークンあたりコストは約 30% 低い。プリフィルとデコードを別プールで運用しているため、効果が最大の場所に適用できる。プリフィルはメモリ律速ではなく計算律速なので、そこでは BF16 キャッシュを維持し、やや高いスループットを保つ。精度については、評価スイート全体で FP8 と BF16 のキャッシュは区別できないことを確認している。
次にモデル重みの圧縮。KV キャッシュとは別に、モデルの重みも GPU メモリを消費する。GLM 5.2 では重みを 8 ビット浮動小数点から 4 ビット整数(INT4)に圧縮し、精度損失はない。チェックポイントは 705GB から 421GB へ約 40% 縮小し、8 ウェイのテンソル並列デプロイにおける GPU あたりのメモリは約 88GB から 52GB に減少、同じハードウェア上で約 118 万トークン分の KV キャッシュを収める余裕が生まれる。評価スイート全体で、INT4 と FP8 の重みも区別できない。
重みが小さくなるとデコードが速くなる理由は明確だ。各トークンの生成ではモデルの重みを GPU メモリからストリーミングするため、デコード速度はメモリ帯域で制限される。転送量が減れば各トークンの到着が早まる。この効果は、リクエストあたりのレイテンシが最も重要な低同時実行時に最大となる。プリフィルの挙動は異なる。プリフィルは計算律速であり、INT4 の重みは行列積の前に展開する必要があるため、この追加ステップがプリフィルを遅くする。GLM のプリフィルは FP8 で毎秒約 10,160 トークン、INT4 では 8,660 トークンである。KV キャッシュと同様、分離設計によりこれは妥協ではなく選択となる。デコードでは INT4、プリフィルでは FP8 を使う。全ベンチマークで INT4 と FP8 の精度差は 0.8 ポイント以内であり、品質は区別できない。
3 つ目は共有 KV キャッシュの保護である。上述の 2 手法はいずれも、より多くのリクエストが同じ GPU メモリを同時に共有できるようにする。この効率こそが目的だが、数百のリクエストが同一の物理 KV キャッシュのページを読み書きすることにもなる。ページドアテンション、連続バッチ処理、キャッシュ再利用といった高速化の仕組みは、いずれも簿記の正確さに依存しており、Cloudflare のリクエスト量では 10 億分の 1 の誤りでも定期的に表面化する。そこで Cloudflare は防御層として KV キャッシュの完全性チェックを構築した。各物理キャッシュページには再割り当てのたびに変わるタグが付与され、サーバーは各リクエストが使用を想定するページとタグを記録する。対応するデコード操作がキャッシュを読む前にマッピングを検証し、不一致があれば影響を受けるリクエストを中止して、誤ったページのデータを返さないようにする。
安全チェックを出荷できるかはコストで決まる。中規模の本番モデルを 2 プリフィル・2 デコード構成、8,192 トークン入力、1,000 トークン出力で測定したところ、スループットとテールレイテンシのコストはいずれも 1% 未満で、95% 信頼区間の上限も 1% 付近にとどまる。計算を安価に保つため、検証はアテンションカーネルに融合せず独立したバッチチェックとして実行している。融合すると GPU スレッドグループ間に競合が生じるためだ。機能はデプロイ単位で有効化され、デフォルト経路ではオーバーヘッドを測定できないノーオペレーションのトラッカーを使うため、不要なデプロイは何も支払わない。
今後の展望として、最先端モデルを効率的に提供するのは常に動く標的であり、これはその継続的な取り組みである。Cloudflare は FP8 KV キャッシュをより多くのフリートへ拡大し、Blackwell(NVIDIA の GPU アーキテクチャ)上で NVFP4 重みを検証し、完全性チェックを無視できるコストでどこでも既定で有効にできるようにすることを目指している。これらの最適化により、より低コストかつ同等の精度で、より多くの顧客を支え続けられる。