GPUバブルを解消：Moondreamのパイプライン型デコード技術

要点

• Photonはパイプライン型デコードによりGPUの待ち時間を隠蔽し、推論効率を向上。
• パイプライン化を可能にする3つの主要機構：ピンポンスロット、フォワード先行サンプル後行、ゾンビ。
• プリフィルも同一パイプラインに統合され、オーバーヘッドをさらに低減。
• NVIDIA B200上でほぼリアルタイムの推論を達成し、スループットが35%向上。