Amazon SageMaker JumpStart では、すぐにデプロイできる数百のオープンウェイト基盤モデルを利用できます。選択肢が多いことは強力ですが、「どのモデルから始めるべきか」という現実的な疑問も生じます。通常、モデルの比較にはモデルカードを一つずつ読み、異なる情報源が異なる条件で公開したベンチマークスコアを探す必要があり、さらに自分のユースケースで各モデルがどのように動作し、いくらかかるかを推測しなければなりません。
本日、Amazon SageMaker JumpStart モデルリーダーボードを発表します。これは Amazon SageMaker Studio 内で JumpStart モデルを品質、速度、コストで並べて比較する新しい方法です。セットアップの質問に答えなくても、開いた直後にランキングが表示されます。リーダーボードは JumpStart のベースモデルページに Categories ビューや All models ビューと並んで表示され、既存の検索バーとフィルターをそのまま使用し、デフォルトでは大規模言語モデル(LLM)のリーダーボードが開きます。
各モデルについて 2 種類の情報が表示されます。1 つ目は品質スコアで、BIG-Bench Hard、GPQA Diamond、MMLU-Pro の 3 つの公開ベンチマークに基づき、AWS がすべてのモデルに同じ評価設定で実行するため数値を比較できます。2 つ目はパフォーマンスとコストの指標で、各 JumpStart デプロイ構成を使用したエンドポイントに標準化されたテストワークロードを送って AWS が測定します。これにより、モデルの応答速度と実行コストがわかります。両方の数値が同じ場所と同じ方法で得られるため、異なるウェブサイトのデータをつなぎ合わせるのではなく、同一条件での比較が可能です。開始時点で Meta、Google、Qwen、IBM、Arcee などのプロバイダーから 70 以上のモデルをカバーし、今後も追加されます。
品質ベンチマークについて、BIG-Bench Hard(BBH)は論理的推論、物体追跡、多段階算術など多段階の推論を必要とする課題を測定します。GPQA Diamond はウェブ検索では答えにくい大学院レベルの科学問題で、深い推論の良い指標です。MMLU-Pro は科学、法律、工学など多様な科目の広範な知識と推論を、より難しい多肢選択問題で評価します。3 つともスコアが高いほど優れています。リーダーボードは各ベンチマークを個別に表示し、1 つの数値に混ぜないため、結果が透明になり、アプリケーションに重要なベンチマークを重視し、各スコアを公開定義と照合できます。
速度とコストはワークロードとモデルのデプロイ方法によって異なります。リーダーボード上部の 2 つのメニューで、表示するパフォーマンスとコストの数値を制御します。ユースケースプロファイルでは、View benchmarks for your use case メニューからワークロードに最も近いプロファイルを選択します。デフォルトは Max Context で、この選択はパフォーマンスとコストの指標のみを変更し、品質ベンチマークスコアはすべてのプロファイルで同じです。最適化目標では、Optimized for メニューから表示するデプロイ構成を選びます。デフォルトは Balanced です。
各最適化目標は異なる構成を選択します。Balanced はトークンあたりの推定コストが最も低い構成を表示し、インスタンス価格とスループットの両方に依存するため、時間あたりの支払いとトークン生成速度のバランスを取ります。Cost optimized は時間あたりのインスタンス価格が最も低い構成で、遅延が高くスループットが低くなる可能性があります。Latency optimized は最初のトークンまでの時間が最も短い構成です。Throughput optimized はスループットが最も高い構成で、投機的デコーディングを使用する場合があります。
パフォーマンス指標には、最初のトークンまでの時間(TTFT)があります。これはユーザーがモデルの応答開始を待つ時間で、低いほど良く、チャットで特に重要です。リクエストあたりのスループット(tokens/s)はモデルが 1 秒あたりに生成するトークン数で、高いほど良く、バッチや高ボリュームのワークロードで重要です。インスタンスコスト($/hr)は指定されたインスタンスタイプの推定時間あたりコストです。コストの注意点として、推定コストは SageMaker インスタンスコストのみを反映し、構成のデフォルトインスタンスタイプのオンデマンド時間料金に基づきます。データ転送、ストレージ、推論コンポーネントのコスト、Reserved Instances や AWS Savings Plans などの割引は含まれず、実際の請求額は異なります。請求の見積もりには AWS Pricing Calculator を使用してください。
ベンチマーク方法について、公開ベンチマークスコアは異なるチームが異なるプロンプト、設定、ハードウェアで公開することが多く、比較が困難です。AWS は異なるアプローチを取ります。すべてのモデルに同じ評価ハーネスと設定を使用して各ベンチマークを実行し、パフォーマンスとコストは各 JumpStart デプロイ構成を使用したエンドポイントに標準化されたテストワークロードを送って測定します。これらの構成はユーザーが起動できるものと同じです。プロンプト、生成設定、構成の測定方法などの詳細は JumpStart リーダーボードの方法論を参照してください。
リーダーボードの利用手順は次のとおりです。まず SageMaker Studio で Models ページを開き、Leaderboard ビューを選択します。リーダーボードは他のビューと同じ検索バーとフィルターを備え、独自の URL を持つため、ブックマークやチームへの直接リンク共有が可能です。次に、ライセンス、プロバイダー、入出力モダリティなどのフィルターでリストを絞り込みます。スコアを見る前に、商用利用を許可するライセンスなど、必須要件を先に満たします。続いて、ワークロードに最も近いユースケースプロファイルと最適化目標を選択します。顧客が対話するチャットボットなら Latency optimized が妥当な出発点で、夜間のドキュメント処理なら Throughput optimized や Cost optimized が適している場合があります。
各列には青いヒートマップがあり、青が濃いほどその列の結果が強いことを示すため、上位モデルが一目でわかります。任意のベンチマーク列でソートして、最も重視する指標でモデルをランク付けできます。歯車アイコンで不要な指標を隠し、横にスクロールしてさらに列を表示できます。モデル名の列はスクロール中も固定され、端のフェードでさらに列があることを示します。モデルを選択するとモデルページが開き、デプロイするか、サーバーレスカスタマイズをサポートするモデルならカスタマイズできます。デプロイ時は、リーダーボードで比較したのと同じユースケースと最適化目標を選択してください。各指標は測定された構成に適用され、異なる構成では品質、遅延、スループット、コストが変わる可能性があります。
例として、内部ヘルプデスクアシスタントを構築する場合を考えます。従業員が質問し、設定された応答形式に従った迅速で正確な回答を期待します。商用ライセンスのモデルが必要で、コストを予測可能にしたいとします。ライセンスでフィルタリングし、チャットに近いユースケースプロファイルと Latency optimized を選択すると、候補リストには大規模モデル A、中規模モデル B、小規模モデル C が含まれるかもしれません。モデル A は知識スコアが最も高い一方、コストと初回応答時間も最も高くなります。モデル B はスコアがほぼ同等で、多段階推論にも強く、より小さく安価なインスタンスで動作します。ヘルプデスクでは、一般的な知識の最後の数ポイントよりも、質問を推論し迅速に応答することが重要なので、モデル B がより良い出発点です。大きなモデルが常に良い選択とは限らず、リーダーボードはそのトレードオフを数秒で可視化します。その後、モデル B をデプロイし、実際のヘルプデスクの質問でテストし、品質が維持されるならモデル C を低コストの選択肢として念頭に置きます。
使用上の注意として、リーダーボードは候補リストの作成に使い、最終決定には使わないでください。ベンチマークは一般的な能力を測定するため、本番前に上位 2〜3 モデルを自社データとプロンプトで評価してください。まずフィルタリングしてからランク付けします。ライセンスや入出力モダリティなどの要件がモデルの可否を決め、スコアは残ったモデルの順序付けにのみ役立ちます。モデルは同じベンチマーク内で比較してください。ベンチマークごとに難易度が異なるため、あるベンチマークのスコアを別のベンチマークのスコアと直接比較することはできません。モデルタイプを考慮してください。推論モデルと非推論モデルは異なる生成パラメータで評価され、推論モデルの GPQA Diamond スコアは 10 回の実行の平均です。両タイプの比較は近似値です。デプロイ構成を確認してください。各指標は測定された構成に適用されるため、デプロイ予定の構成でモデルを比較してください。近いスコアは同点として扱ってください。小さな差は通常の実行ごとの変動範囲内に収まることがあり、一方のモデルが意味的に優れているわけではありません。明確な差を探してください。カバレッジは拡大中です。すべての JumpStart モデルにベンチマークスコアがあるわけではなく、開始時のベンチマークは LLM に焦点を当てています。スコアがないモデルは弱いモデルではなく、まだベンチマークされていないだけです。
AWS はリーダーボードの拡張を続けています。検討中の領域には、キュレーションされた JumpStart プライベートハブを使用する組織が承認済みモデルのリーダーボードを表示できるプライベートハブサポートや、オブジェクト検出、テキスト埋め込みなど、LLM のテキスト生成以外のタスクリーダーボードの追加が含まれます。