戳破GPU泡沫：Moondream的流水线解码技术

近日，Moondream团队公布了其推理引擎Photon的技术细节。Photon通过一种称为“流水线解码”的技术，显著提升了视觉语言模型（VLM）的推理速度。在NVIDIA B200 GPU上，该引擎实现了约33毫秒的近实时推理，并将解码吞吐量提高了35%。

传统AI模型生成文本时，每个令牌（token）的生成都依赖前一个令牌，这种自回归特性导致了解码循环中的CPU与GPU往返通信。GPU负责大部分数学运算，但CPU也需要完成请求调度、元数据设置、令牌采样等任务。由于每个令牌的GPU计算量较小，而CPU的固定开销在每个循环中都存在，因此GPU经常处于空闲等待状态，这种现象被称为“GPU泡沫”。

Photon通过流水线解码解决了这一问题。其核心思想是让CPU和GPU的工作重叠进行：在GPU处理当前令牌的前馈计算时，CPU可以同时处理上一个令牌的提交工作。为此，Photon引入了三种关键技术。

首先，乒乓槽位机制：为了支持两个步骤的重叠，系统维护两个解码槽位，交替使用。每个槽位包含一组固定的缓冲区，包括输入、输出和采样结果的内存区域。CPU在处理一个槽位的结果时，GPU可以同时运行另一个槽位的前馈计算。内存复制通过独立的复制流进行，避免阻塞。

其次，先前馈后采样机制：前馈计算不依赖约束解码的掩码，因此可以提前启动。采样步骤则依赖上一个令牌的提交结果，因此延迟到提交完成后进行。这种“提交-再最终化”的顺序确保了掩码的正确性，同时将提交工作从关键路径中移除。

第三，僵尸机制：当序列提前结束时（如遇到结束令牌），该序列仍可能被包含在已启动的前馈步骤中。Photon通过引用计数和“最终化早、释放晚”的策略处理这些“僵尸”序列：序列被标记为最终化，但资源在引用计数归零后才释放，从而避免了复杂的取消逻辑。

此外，预填充（prefill）阶段也被整合到同一流水线中。预填充是对新请求的提示和图像的一次性处理，通常计算量大。Photon将其视为一种特殊类型的“前馈”步骤，与解码步骤共享两个槽位。这使得CPU和GPU的工作可以进一步重叠，特别是在输出较短的场景中，显著提高了整体效率。

总之，Photon通过精心设计的流水线解码技术，有效消除了GPU泡沫，为实时AI推理提供了新的可能性。该引擎的设计思路对于优化GPU利用率和提升推理性能具有重要参考价值。