GPUバブルを解消：Moondreamのパイプライン型デコード技術

Moondream社は、推論エンジンPhotonの技術詳細を公開しました。Photonは「パイプライン型デコード」と呼ばれる技術を採用し、視覚言語モデル（VLM）の推論速度を大幅に向上させています。NVIDIA B200 GPU上で約33ミリ秒のほぼリアルタイム推論を実現し、デコードスループットは35%向上しました。

従来のAIモデルでは、トークン生成は自己回帰的な性質を持つため、CPUとGPUの間で往復通信が発生します。GPUが計算を担当する一方、CPUはリクエストスケジューリング、メタデータ設定、トークンサンプリングなどの処理を行います。各トークンのGPU計算量は小さいため、CPUの固定オーバーヘッドが毎回発生し、GPUが待機状態になる「GPUバブル」が生じます。

Photonは、CPUとGPUの処理を重ね合わせるパイプライン型デコードでこの問題を解決します。GPUが現在のトークンのフォワード計算を実行中に、CPUは前のトークンのコミット処理を並行して行います。この重ね合わせを実現するために、3つの主要な機構が導入されています。

第一に、ピンポンスロット機構です。2つのデコードスロットを用意し、交互に使用します。各スロットは固定バッファセットを持ち、CPUが一方のスロットの結果を処理している間に、GPUは他方のスロットのフォワード計算を実行できます。メモリコピーは独立したコピーストリームで行われ、ブロッキングを防ぎます。

第二に、フォワード先行サンプル後行機構です。フォワード計算は制約デコードのマスクに依存しないため、先行して開始できます。サンプリングは前のトークンのコミット結果に依存するため、コミット完了後に実行されます。この「コミット先行、最終化後行」の順序により、マスクの正確性を保ちつつ、コミット処理をクリティカルパスから外します。

第三に、ゾンビ機構です。シーケンスが途中で終了した場合（終了トークンに達した場合など）、そのシーケンスは既に開始されたフォワードステップに含まれている可能性があります。Photonは参照カウントと「早期最終化、遅延解放」戦略でこれらの「ゾンビ」シーケンスを処理します。シーケンスは最終化されますが、リソースは参照カウントがゼロになるまで解放されず、複雑なキャンセルロジックを回避します。

さらに、プリフィル（prefill）フェーズも同一パイプラインに統合されています。プリフィルは新しいリクエストのプロンプトと画像を一度に処理する重い計算ですが、Photonではこれを特別なタイプの「フォワード」ステップとして扱い、デコードステップと2つのスロットを共有します。これにより、特に出力が短いシナリオでCPUとGPUの処理がさらに重なり、全体の効率が向上します。

以上の設計により、PhotonはGPUバブルを効果的に排除し、リアルタイムAI推論の新たな可能性を切り拓いています。このエンジンは、GPU利用率の最適化と推論性能の向上に重要な示唆を与えるものです。