無料vLLMコース：推論、圧縮、ベンチマーク

DeepLearning.AIとRed Hatは、機械学習エンジニア、プラットフォームエンジニア、開発者を対象とした無料コース「vLLMによる高速・効率的LLM推論」をリリースしました。このコースはRed HatのシニアデベロッパーアドボケイトであるCedric Clyburnが指導し、1時間38分の動画9本、3つのコード例、1つの課題が含まれます。Pythonと基本的なLLMの概念（トークン、推論、GPU使用）に精通していることが推奨されます。

コースの中心テーマはメモリ管理です。モデルの重みとKVキャッシュがGPUメモリを競合します。例えば、700億パラメータのモデルは重みだけで約140GBのメモリを必要とし、KVキャッシュはリクエストごとに増加します。量子化で重みを圧縮し、vLLMが提供するPagedAttentionやプレフィックスキャッシングなどのメモリ管理技術を活用する方法を学びます。

「最適化-デプロイ-ベンチマーク」のワークフロー全体を実践します。LLM CompressorでQwenモデルを量子化し、vLLMでサービス提供し、GuideLLMとlm-evalで現実的なトラフィック下でのベンチマークを実施します。具体的には、効率的なLLMデプロイの重要性、推論プロセス、KVキャッシュ、GPUメモリ階層、重みとアクティベーション量子化、連続バッチ処理、PagedAttention、プレフィックスキャッシング、vLLMサーバへの接続、OpenAI互換APIの使用、負荷テストと品質評価をカバーします。

コース修了時には、実際のモデルで最適化-デプロイ-ベンチマークワークフローを実行し、精度、速度、コストのトレードオフをナビゲートする直感を身につけられます。Pro版では追加の学習機能（クイズやプロジェクト）が利用可能です。

コースは9つのビデオレッスンと3つのコード例で構成されています。レッスン概要：なぜ効率的なLLMデプロイが重要なのか（3分）、推論とメモリの基礎（14分）、LLM最適化の基礎（14分）、LLM Compressorによるモデル最適化（11分）、vLLMによる効率的なLLMサービング パート1（10分）およびパート2（7分）、重要な指標の測定：ベンチマークと評価（15分）、結論（4分）、および採点クイズ（10分）です。

使用するツールとモデル：LLM Compressor（量子化）、vLLM（推論サーバ）、GuideLLM（負荷テスト）、lm-eval（品質評価）、Qwenモデル（最適化対象）。これらはすべてオープンソースで広く使われている実用的なものです。

コースはオープンソースLLMを本番環境で効率的にデプロイする必要のあるエンジニアに最適です。Pythonと基本的なLLM概念の知識が推奨されます。完全無料で、DeepLearning.AIのプラットフォームからすぐに受講を開始できます。