ネイティブ速度のvLLM transformersモデリングバックエンド

Hugging FaceのTransformersライブラリは、450以上のアーキテクチャをサポートする一貫したAPIを提供する、機械学習分野の事実上の標準モデリングライブラリです。その設計目標は、モデル実装が自己完結的で理解しやすいことです。今回、TransformersのvLLMバックエンドが最適化され、多くの大規模言語モデル（LLM）アーキテクチャにおいて、ネイティブのvLLM実装と同等以上の推論速度を達成しました。

最新のベンチマークでは、3つの異なるQwen3モデル（単一GPU上の4B denseモデル、テンソル並列の32B denseモデル、8×H100ノード上のデータ並列＋エキスパート並列の235B FP8 Mixture-of-Expertsモデル）で比較が行われました。結果、TransformersモデリングバックエンドはすべてのケースでネイティブvLLMのスループットに達するか、それを上回りました。

ユーザーはvLLM起動コマンドに--model-impl transformersフラグを追加するだけで、互換性のあるHugging Faceモデル（現在は線形アテンションモデルやカスタムモデルは非対応）を実行できます。このフラグは通常の並列オプションと組み合わせ可能で、サーバー設定を変更する必要はありません。

この改善の核心は、Transformers vLLMバックエンドがtorch.fxを使用してモデルグラフを静的に解析し、最適化可能な既知のパターンを検索した後、抽象構文木（ast）を使ってソースコードを変更し、実行時に推論特化の層融合を動的に適用する点にあります。これにより、エキスパート並列向けのカーネル、MergedColumnParallelLinear、QKVParallelLinearなどの融合操作が可能となり、手書きコードと同等のパフォーマンスを実現します。

従来のvLLMモデル実装とは異なり、Transformersのモデルコードは訓練にも使用できるため、研究者は訓練、評価、強化学習ロールアウトのすべてで同じコードを利用できます。これにより、研究からデプロイまでのパイプラインが大幅に簡素化されます。チームはこれらの最適化手法を詳細に解説したブログ記事も公開予定です。

まとめると、Transformers vLLMバックエンドの今回のマイルストーン的なアップデートにより、モデル作成者は推論最適化のためのコードを一行も書くことなく、自動的にネイティブvLLMレベルの推論速度を得られるようになり、Transformersライブラリのエコシステムの中核としての地位がさらに強化されました。