原生速度的vLLM transformers建模後端

Hugging Face的Transformers庫已成為機器學習領域的事實標準建模庫，支援超過450種架構，並提供一致的API。其設計目標是使模型實現自包含且易於理解。現在，Transformers的vLLM後端經過最佳化，在多種大型語言模型（LLM）架構上達到了與原生vLLM實現相當甚至更快的推理速度。

在最新的基準測試中，團隊使用三個不同的Qwen3模型進行了對比：單個GPU上的4B稠密模型、張量並行的32B稠密模型，以及8×H100節點上採用資料和專家並行的235B FP8混合專家模型。結果顯示，Transformers建模後端在所有測試中均達到或超過了原生vLLM的吞吐量。

使用者只需在vLLM啟動命令中新增--model-impl transformers標誌，即可執行任何相容的Hugging Face模型（線性注意力模型和自定義模型目前暫不支援）。該標誌與通常的並行選項相容，無需更改服務設定。

這一改進的核心在於Transformers vLLM後端現在使用torch.fx對模型圖進行靜態分析，搜尋可最佳化的已知模式，然後利用抽象語法樹（ast）修改原始碼，在執行時動態應用推理特定的層融合。這些融合操作包括將多對一對映到最佳化的vLLM核心（如混合專家模型的專家並行）、MergedColumnParallelLinear和QKVParallelLinear等，從而實現與手寫程式碼相同的效能。

與傳統vLLM模型實現不同，Transformers模型程式碼同時可用於訓練，因此研究人員可以在訓練、評估和強化學習 rollout 中使用同一套程式碼。這顯著簡化了從研究到部署的流程。團隊還計劃釋出一篇詳細的博文，深入解釋這些最佳化方法。

總之，Transformers vLLM後端的這一里程碑式更新，使得模型作者無需編寫任何推理最佳化程式碼，即可自動獲得原生vLLM級別的推理速度，進一步鞏固了Transformers作為生態系統核心建模庫的地位。