NVIDIAは、韓国の主要なオープンモデル向けにDynamo最適化デプロイレシピをリリースしています。対象となるのは、SK TelecomのA.X K2、LG AI ResearchのK-EXAONE 2.0、UpstageのSolar Open 2、そしてMotif TechnologiesのMotif-3です。
モデルが単一GPUの容量を超えて成長するにつれ、複数のGPUに分割する必要が生じます。その際、パフォーマンスを維持するためにリクエストのルーティングと通信を注意深く調整しなければなりません。NVIDIA Dynamoは、データセンター規模のマルチノード環境でモデルをデプロイするために構築されたオープンソースの分散推論サービングフレームワークであり、このルーティングと通信を処理して推論パフォーマンスを最大化します。
これらのレシピはNVIDIA B200 GPU向けに最適化されており、デプロイ時の当て推量を排除し、すぐに最大2倍のパフォーマンスを提供します。開発者が韓国のオープンモデルをより迅速に本番環境へ投入し、広くアクセス可能なAI for Allサービスへと変える手助けをします。
展開の複雑さを軽減し性能を向上させることで、NVIDIAのこれらのレシピは韓国のオープンモデルの本番採用を加速し、AIの普及をさらに推進することが期待されます。