Amazonは、SGLang-Neuronが一般公開され、AWS Deep Learning Containerを通じてアクセス可能になったと発表しました。このツールはRadixArkがAnnapurna Labsと協力してリリースしたもので、既存のSGLangインターフェースを使ってAWS Trainium上でモデルをサービングし、強化学習(RL)のロールアウトを生成できます。TrainiumはAWSのAIチップポートフォリオであり、大規模なAIトレーニングと推論において優れた経済性を提供します。
SGLangに慣れている開発者にとって、Trainiumへの移行はワークフローの変更をほとんど必要としません。ユーザーはこれまで通りSGLangのサーバーインターフェースを通じてモデルを起動し、同じ生成APIを使ってエンドポイントを呼び出します。内部的には、SGLang-NeuronはネイティブPyTorch上で動作します。アウトオブツリー(out-of-tree)プラグイン設計を採用しているため、TrainiumサポートとSGLangコアは独立して開発され、より迅速に反復できます。
SGLang-Neuronは、SGLangとAWS Trainiumを接続するアウトオブツリープラグインです。プラグインをインストールすると、SGLangのプラグインエントリーポイントを通じてneuronプラットフォームが登録され、サーバー起動時にSGLANG_PLATFORM=neuronを設定することで選択されます。SGLangコアは引き続きAPIサーバー、リクエストライフサイクル、RadixAttention、プレフィックスキャッシュの管理を提供します。プラグインはTrainium固有のモデル、アテンション、Mixture of Experts(MoE)、およびグラフランナーを実装します。
TorchNeuronはTrainiumをネイティブPyTorchデバイスとして登録します。SGLang-Neuronはモデル実行パスに標準のPyTorch操作を使用し、パフォーマンスのためにNeuron Kernel Interface(NKI)で書かれたカーネルを組み込みます。これらの操作とカーネルはtorch.compileを使用して実行可能プログラムにコンパイルされ、グラフランナーがサービング中に準備および実行します。
さらに、SGLang-NeuronはPD分離(Prefill-Decode Disaggregation)構成をサポートします。この構成では、プリフィルサーバーがプロンプトのKVキャッシュを計算し、Elastic Fabric Adapter(EFA)上のNIXLを使用してデコードサーバーに転送します。デコードサーバーは残りのトークンを生成します。各サーバーは引き続きSGLangのスケジューラとリクエストライフサイクルを使用し、プラグインがTrainiumの実行とKVキャッシュ転送パスを管理します。
使い始めるのは簡単です。Trainium3 Amazon EC2インスタンスとpytorch-inference-sglang-neuronxコンテナを使用します。まずコンテナを起動し、作業ディレクトリをマウントして指定のイメージを実行します。次に、コンテナ内でSGLANG_PLATFORM=neuronを設定し、python -m sglang.launch_serverを呼び出してモデルサーバーを起動します。例ではopenai/gpt-oss-120bモデルを使用し、テンソル並列、エキスパート並列、FP8 KVキャッシュ、コンテキスト長などのパラメータを構成します。最後に、サーバーに標準のOpenAI互換チャット補完リクエストを送信します。
SGLang-Neuronは、SGLangの馴染み深いサービングワークフローをネイティブPyTorchを通じてAWS Trainiumにもたらします。開発者はすぐにコンテナを起動し、クイックスタートガイドに従ってサポート対象モデルをサービングできます。AWSは、実際のワークロードで試し、プロジェクトリポジトリを通じて貢献し、フィードバックを共有して将来のモデルと機能のサポートを形作ることを推奨しています。