原生速度的vLLM transformers建模後端

Hugging Face的Transformers庫已成為機器學習領域的事實標準建模庫，支持超過450種架構，並提供一致的API。其設計目標是使模型實現自包含且易於理解。現在，Transformers的vLLM後端經過優化，在多種大型語言模型（LLM）架構上達到了與原生vLLM實現相當甚至更快的推理速度。

在最新的基準測試中，團隊使用三個不同的Qwen3模型進行了對比：單個GPU上的4B稠密模型、張量並行的32B稠密模型，以及8×H100節點上採用數據和專家並行的235B FP8混合專家模型。結果顯示，Transformers建模後端在所有測試中均達到或超過了原生vLLM的吞吐量。

用户只需在vLLM啓動命令中添加--model-impl transformers標誌，即可運行任何兼容的Hugging Face模型（線性注意力模型和自定義模型目前暫不支持）。該標誌與通常的並行選項兼容，無需更改服務設置。

這一改進的核心在於Transformers vLLM後端現在使用torch.fx對模型圖進行靜態分析，搜索可優化的已知模式，然後利用抽象語法樹（ast）修改源代碼，在運行時動態應用推理特定的層融合。這些融合操作包括將多對一映射到優化的vLLM內核（如混合專家模型的專家並行）、MergedColumnParallelLinear和QKVParallelLinear等，從而實現與手寫代碼相同的性能。

與傳統vLLM模型實現不同，Transformers模型代碼同時可用於訓練，因此研究人員可以在訓練、評估和強化學習 rollout 中使用同一套代碼。這顯著簡化了從研究到部署的流程。團隊還計劃發佈一篇詳細的博文，深入解釋這些優化方法。

總之，Transformers vLLM後端的這一里程碑式更新，使得模型作者無需編寫任何推理優化代碼，即可自動獲得原生vLLM級別的推理速度，進一步鞏固了Transformers作為生態系統核心建模庫的地位。