本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

SGLang-NeuronでAWS TrainiumにフロンティアAIモデルをデプロイ

記事の要約

AWSは、SGLang-NeuronがAWS Deep Learning Containerを通じて一般公開されたと発表した。開発者は使い慣れたSGLangインターフェースを使い、Trainium上でモデルサービングと強化学習ロールアウトを実行できる。プラグインはネイティブPyTorch上で動作し、PD分離やEFA経由のNIXLによるKVキャッシュ転送をサポートする。

ソースAWS Machine Learning Blog著者: Alex Nails
SGLang-NeuronでAWS TrainiumにフロンティアAIモデルをデプロイ
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

Amazonは、SGLang-Neuronが一般公開され、AWS Deep Learning Containerを通じてアクセス可能になったと発表しました。このツールはRadixArkがAnnapurna Labsと協力してリリースしたもので、既存のSGLangインターフェースを使ってAWS Trainium上でモデルをサービングし、強化学習(RL)のロールアウトを生成できます。TrainiumはAWSのAIチップポートフォリオであり、大規模なAIトレーニングと推論において優れた経済性を提供します。

SGLangに慣れている開発者にとって、Trainiumへの移行はワークフローの変更をほとんど必要としません。ユーザーはこれまで通りSGLangのサーバーインターフェースを通じてモデルを起動し、同じ生成APIを使ってエンドポイントを呼び出します。内部的には、SGLang-NeuronはネイティブPyTorch上で動作します。アウトオブツリー(out-of-tree)プラグイン設計を採用しているため、TrainiumサポートとSGLangコアは独立して開発され、より迅速に反復できます。

SGLang-Neuronは、SGLangとAWS Trainiumを接続するアウトオブツリープラグインです。プラグインをインストールすると、SGLangのプラグインエントリーポイントを通じてneuronプラットフォームが登録され、サーバー起動時にSGLANG_PLATFORM=neuronを設定することで選択されます。SGLangコアは引き続きAPIサーバー、リクエストライフサイクル、RadixAttention、プレフィックスキャッシュの管理を提供します。プラグインはTrainium固有のモデル、アテンション、Mixture of Experts(MoE)、およびグラフランナーを実装します。

TorchNeuronはTrainiumをネイティブPyTorchデバイスとして登録します。SGLang-Neuronはモデル実行パスに標準のPyTorch操作を使用し、パフォーマンスのためにNeuron Kernel Interface(NKI)で書かれたカーネルを組み込みます。これらの操作とカーネルはtorch.compileを使用して実行可能プログラムにコンパイルされ、グラフランナーがサービング中に準備および実行します。

さらに、SGLang-NeuronはPD分離(Prefill-Decode Disaggregation)構成をサポートします。この構成では、プリフィルサーバーがプロンプトのKVキャッシュを計算し、Elastic Fabric Adapter(EFA)上のNIXLを使用してデコードサーバーに転送します。デコードサーバーは残りのトークンを生成します。各サーバーは引き続きSGLangのスケジューラとリクエストライフサイクルを使用し、プラグインがTrainiumの実行とKVキャッシュ転送パスを管理します。

使い始めるのは簡単です。Trainium3 Amazon EC2インスタンスとpytorch-inference-sglang-neuronxコンテナを使用します。まずコンテナを起動し、作業ディレクトリをマウントして指定のイメージを実行します。次に、コンテナ内でSGLANG_PLATFORM=neuronを設定し、python -m sglang.launch_serverを呼び出してモデルサーバーを起動します。例ではopenai/gpt-oss-120bモデルを使用し、テンソル並列、エキスパート並列、FP8 KVキャッシュ、コンテキスト長などのパラメータを構成します。最後に、サーバーに標準のOpenAI互換チャット補完リクエストを送信します。

SGLang-Neuronは、SGLangの馴染み深いサービングワークフローをネイティブPyTorchを通じてAWS Trainiumにもたらします。開発者はすぐにコンテナを起動し、クイックスタートガイドに従ってサポート対象モデルをサービングできます。AWSは、実際のワークロードで試し、プロジェクトリポジトリを通じて貢献し、フィードバックを共有して将来のモデルと機能のサポートを形作ることを推奨しています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • SGLang-NeuronはRadixArkとAnnapurna Labsの協力によりリリースされ、AWS Deep Learning Containerから利用可能。
  • アウトオブツリー型プラグイン設計により、TrainiumサポートとSGLangコアを独立して開発・反復できる。
  • PD分離構成をサポートし、プリフィルサーバーからデコードサーバーへNIXL over EFAでKVキャッシュを転送する。
  • SGLANG_PLATFORM=neuronを設定するだけで、同じSGLang起動コマンドと生成APIを利用できる。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。