原生速度的vLLM transformers建模后端

Hugging Face的Transformers库已成为机器学习领域的事实标准建模库，支持超过450种架构，并提供一致的API。其设计目标是使模型实现自包含且易于理解。现在，Transformers的vLLM后端经过优化，在多种大型语言模型（LLM）架构上达到了与原生vLLM实现相当甚至更快的推理速度。

在最新的基准测试中，团队使用三个不同的Qwen3模型进行了对比：单个GPU上的4B稠密模型、张量并行的32B稠密模型，以及8×H100节点上采用数据和专家并行的235B FP8混合专家模型。结果显示，Transformers建模后端在所有测试中均达到或超过了原生vLLM的吞吐量。

用户只需在vLLM启动命令中添加--model-impl transformers标志，即可运行任何兼容的Hugging Face模型（线性注意力模型和自定义模型目前暂不支持）。该标志与通常的并行选项兼容，无需更改服务设置。

这一改进的核心在于Transformers vLLM后端现在使用torch.fx对模型图进行静态分析，搜索可优化的已知模式，然后利用抽象语法树（ast）修改源代码，在运行时动态应用推理特定的层融合。这些融合操作包括将多对一映射到优化的vLLM内核（如混合专家模型的专家并行）、MergedColumnParallelLinear和QKVParallelLinear等，从而实现与手写代码相同的性能。

与传统vLLM模型实现不同，Transformers模型代码同时可用于训练，因此研究人员可以在训练、评估和强化学习 rollout 中使用同一套代码。这显著简化了从研究到部署的流程。团队还计划发布一篇详细的博文，深入解释这些优化方法。

总之，Transformers vLLM后端的这一里程碑式更新，使得模型作者无需编写任何推理优化代码，即可自动获得原生vLLM级别的推理速度，进一步巩固了Transformers作为生态系统核心建模库的地位。