約1兆パラメータのMixture-of-Experts(MoE)モデルをAPI推論用に展開することは、古典的なシステム課題です。完全なFP16またはBF16精度では、メモリフットプリントが非常に大規模なクラスタを必要とします。標準的な訓練後量子化(PTQ)レシピはフットプリントを縮小しますが、モデル品質を低下させる可能性があり、特に非英語モデルでは、通常の量子化キャリブレーションデータセットが言語レジスターやツール呼び出し行動を捉えられないためです。
Sakana Namazu(日本のビジネスコンテキスト、ライブWeb検索、コード実行に最適化された約1Tパラメータモデル)の起動に先立ち、ModalのフォワードデプロイエンジニアリングチームはSakana AIと直接協力し、モデルをModal上で動作させました。チームは日本語保持のためにNVFP4量子化を調整し、生のトークンストリーム上でカスタム投機的ドラフトモデルを訓練しました。これはModalのグローバルGPUプール上で実行され、Sakanaは予約容量を約束することなくパブリックAPIを起動できました。
妥協のない量子化
約1Tパラメータのモデルは完全精度では巨大なGPUメモリフットプリントを持ちます。本番規模で経済的に提供するには、本質的に量子化が必要です。しかし、量子化にはリスクが伴います。圧縮方法は通常英語のベンチマークで検証されるため、モデルは標準チェックを通過しながら、その独自の能力を失う可能性があります。
協力により、ModalはNVIDIA Blackwell GPU向けに構築された低精度フォーマットであるNVFP4でSakana Namazuを提供でき、メモリを削減しスループットを向上させました。Modalのフォワードデプロイエンジニアリングチームは既製の量子化レシピを適用するのではなく、まずSakana Namazuの重みがNVFP4数値下で圧縮にどのように応答するかを測定し、その発見に基づいてアプローチを構築しました:選択的エキスパート量子化 — パラメータの大部分を保持するルーティングされたエキスパートのみを量子化し、アテンション、ルーター、共有エキスパートは高精度(BF16)のままにしました。ドメイン代表キャリブレーションデータ — キャリブレーションはSakana Namazuのスタイルに従った会話で実行され、日本語に大きく重み付けされたため、モデルの23,040のエキスパートすべてがスケールを固定する前に代表的なトラフィックを見ました。結果として、モデルは日本語の指示追従においてSakanaの本番チェックポイントと一致し、Sakana自身の公開ベンチマークのノイズフロア内で、NVFP4の速度とメモリで動作しました。
Sakana Namazuの代表的なトラフィックで訓練されたドラフトモデル
投機的デコーディングは、小さなドラフトモデルが数トークン先を推測し、メインモデルが1ステップでそれらを検証することで生成を高速化する技術です。メインモデルが受け入れる推測が多いほど、各リクエストは高速に実行されます。以前も述べたように、投機がすべてです。
汎用ドラフトモデルは汎用テキストで訓練されているため、Sakana Namazuの日本語ビジネスレジスターをうまく推測できません(受け入れ率は40%未満)。Modalのチームは代わりにSakana Namazuの代表的なトラフィックでカスタムDFlashドラフトモデルを訓練しました。重要な実装の詳細は、デコードして再トークン化されたテキストではなく、モデルが生成した正確なトークンIDで訓練することでした。両者はページ上では同じに見えますが、再トークン化はツール呼び出し、JSONスキーマ、モデルの推論マーカー内の正確なトークン境界の整合性を破壊します。このギャップはトークン受け入れを損ないます。Modalはキャプチャパスを構築し、生のトークンIDが本番から300億トークン以上の訓練コーパスに直接流れるようにしました。結果:汎用ドラフトモデルと比較して投機的トークン受け入れ率が25%増加、トークンあたりのデコードレイテンシが約35%低下、キューイングレイテンシが上昇し始める前にレプリカあたりのトラフィックが約40%増加し、Sakanaは起動日の需要をより少ないGPUで処理できました。
起動以来、ドラフトモデルにはさらなる改善が加えられています。最初のバージョンはSakana Namazuがまだパブリックリクエストを1つも処理していない前に訓練されたため、実際のトラフィックではなく代表的なトラフィックから学習しました。本番トラフィックが流れ始めると、Modalのチームは約100万の実際のリクエストでゼロから2番目のドラフトモデルを訓練しました。これはDFlash2を使用しており、顧客が非ゼロ温度でサンプリングする場合により良い性能を発揮する新しいアーキテクチャで、Sakana Namazuのトラフィックの大部分をカバーします。これを測定するために、Sakana Namazuの提供設定の2つの同一コピーを実行し、それぞれにドラフトモデルを配置しました。次に、Sakanaの顧客が実際に送信するサンプリング設定を使用して、1,000の保留リクエストを両方にリプレイしました。新しいドラフトモデルは訓練中にこれらのリクエストを見たことがありません。平均受け入れ長(メインモデルがステップあたりに受け入れるドラフトトークン数)は3.51から5.01に上昇し、43%の改善となり、p99レイテンシは68秒から52秒に低下しました。
新しいエンジンリリースに対するパフォーマンス作業
提供スタックは急速に進化し、各リリースはカーネル、スケジューリング、数値を変更しますが、それらは本番トラフィック下でのみ現れます。ModalとSakanaは協力してこれらの変更をテストおよびベンチマークし、同じハードウェアと同じリクエストバッチでA/Bテストしながら、Sakanaのワークロードに安全に展開しました。最大の利益は次から得られました:投機的デコーディングループにおけるCPU-GPU同期ストールの除去 — 各デコードステップはCPUがGPUから結果を読み戻す間一時停止していました。その待機を排除することで、ステップあたりのGPUアイドル時間が90%以上削減されました。NVFP4 Mixture-of-Experts計算をより高速なカーネルにルーティング — 各デコードステップの約60%を占めるエキスパート行列乗算の新しいカーネルパスがステップ時間を短縮し、より厳密な数値の副作用として、同じドラフトモデルでドラフト受け入れ率が9%向上しました。プリフィルディスパッチとエキスパートランナーセットアップのキャッシュ — 各リクエストで繰り返されていた作業を一度だけ実行して再利用し、主に最初のトークン時間に利益をもたらしました。
GPU間の正確性
Sakana Namazuはテンソル並列処理で4つのGPU上で実行され、投機的デコーディングは微妙な点を追加します:すべてのGPUがどのドラフトトークンが受け入れられたかについて合意する必要があります。Modalはランク間で検証ステップを計測し、それらが不一致になる可能性のある稀なパスを発見し、受け入れを単一の共有決定にしました。その結果、まれなストールのクラスが完全に排除され、出力品質に変更はありませんでした。チームはまた、投機的デコーディングを構造化出力に拡張しました。Sakana NamazuのAPI顧客はツール使用のためにJSONスキーマ応答に依存しており、Modalは文法制約付き生成を投機的パス内で機能させ、これらのリクエストが同じ高速化をゼロスキーマ違反で得られるようにしました。
レプリカ間のスマートルーターとオートスケーリング
起動後、ModalはSakana側のコード変更を必要とせずに、Sakanaのデプロイメントで自社のKV対応ルーターを有効にしました。ルーターはリクエストを均等に分散するのではなく、プロンプトプレフィックスが既にキャッシュされている可能性が最も高いレプリカに各リクエストを送信し、レプリカがスケールアップおよびダウンする際に負荷を分散します。テールレイテンシへの影響は即座でした。数分に達していた最初のトークン時間(TTFT)のスパイクが消え、レプリカごとのキューがほぼゼロになり、エンドツーエンドのテールレイテンシが改善され、トークンあたりのデコード速度は変更されませんでした。
オンデマンドGPUによる容量計画の管理
ミッションクリティカルなワークロードを新しいインフラストラクチャに移行することは、どのフロンティアAIラボにとっても難しい売り込みです。必要なGPU量を確保するには、多くの場合、長期契約または急勾配の予約が必要です。Sakana Namazuの新しい商用APIサービスはまだリクエストを受け取っていなかったため、このパスはリスクが高いでしょう。Modalは、過剰プロビジョニングや遅いオートスケーリングを心配することなく、起動中に生成される需要を満たすために弾力的にスケールできるようにしました。
「Sakana Namazuのために、モデル品質を損なうことなくGPU容量を柔軟にスケールアップまたはダウンする必要がありました。Modalはその柔軟性を提供し、彼らのエンジニアは量子化によって導入されたパフォーマンスの変更に対処するために直接協力してくれました。」— 大萩雅也、応用研究エンジニア
Sakana Namazuを超えた意味
Sakana Namazuは現在、そのために共同最適化されたインフラストラクチャ上で本番稼働しています:日本語保持のために調整されたNVFP4量子化、Sakanaの生のトークンストリームで訓練された投機的ドラフトモデル、そして数ヶ月前に署名された予約ではなく起動需要に応じて動的にスケールするサーバーレス容量。日本を代表するAIラボの1つとして、Sakanaの研究チームは現在、元のAPIを超えた追加のワークロードをModal上で探索しています。Sakanaが次に何を出荷するか楽しみです!