AI News HubLIVE
サイト内リライト2 分で読了

Amazon SageMaker AIで生成AI推論レコメンデーションのUIを公開

Amazon SageMaker AI Studioは、生成AI推論レコメンデーションのためのローコード/ノーコードUIを導入し、事前設定されたユースケースプロファイル、視覚的な比較、ワンクリックデプロイを通じて、深いインフラ知識がなくても検証済みの構成を取得できるようにします。

ソースAWS Machine Learning Blog著者: Hrushikesh Gangur

Amazon SageMaker AI Studioは、生成AI推論レコメンデーションのためのローコード/ノーコードユーザーインターフェース(UI)を発表しました。従来、APIを通じて最適化構成を取得するには、パラメータ設定やベンチマーク出力の解釈に関する知識が必要でした。新しいUIはその前提を不要にし、事前設定されたユースケースプロファイル、結果の視覚比較、ワンクリックデプロイにより、インフラに関する深い専門知識がなくても、検証済みの構成をチームが独自に取得できるようにします。

ワークフローは、ワークロード構成の定義から始まります。ユーザーは、「インタラクト」(短い入力と中程度の出力のチャット型ワークロード)、「生成」(長い出力のコンテンツ生成に最適化)、「要約」(高い入力出力比のドキュメント要約に最適化)などの事前設定ユースケースプロファイルを選択できます。これらのプロファイルが合わない場合は、「カスタム」プロファイルを使用して、独自のデータセットを提供し、同時実行数やトークン長を設定できます。同時に、最適化目標(レイテンシ最小化、スループット最大化、コスト最小化)を選択し、システムがそれに応じて最適化技術と推奨順序を調整します。

モデルソースは多様で、Amazon SageMaker JumpStartカタログからベースモデルを取得したり、Amazon S3上のモデルアーティファクトを指定したり、モデルレジストリの登録パッケージを再利用したり、以前のデプロイメントやトレーニングジョブから既存のSageMakerモデルを選択したりできます。コンピューティングリソースについては、SageMaker AIにハードウェア選択を任せるか、特定のインスタンスタイプを指定して評価できます。

新しいUIはエンドツーエンドのエクスペリエンスを提供します。Studioの左側ナビゲーションペインから「ジョブ」→「推論最適化」に移動し、最適化ジョブを作成します。ジョブの実行中は詳細ページでステータス、設定、結果を確認できます。完了後、「概要」タブにランク付けされた推論パッケージが表示され、各パッケージには最適化構成、パフォーマンス指標(最初のトークンまでの時間、トークン間レイテンシ、スループット、コスト)、および「デプロイ」ボタンが含まれます。ボタンをクリックすると、モデル登録、エンドポイント構成、プロビジョニングが自動的に実行され、エンドポイントがIn Serviceになるとすぐに呼び出し可能になります。

ジョブ管理機能も充実しており、検索、停止、削除が可能で、各ジョブの詳細ページでは概要、設定、詳細のタブを確認できます。最適化ジョブの実行中は、ベンチマーク用に一時的なエンドポイントが作成され、ジョブ完了後に自動的に削除されます。

ベストプラクティスとして、モデルのファインチューニングや更新後、新しいインスタンスタイプが利用可能になったとき、トラフィックパターンが大きく変化したとき、または定期的(例:数週間ごと)に最適化ジョブを再実行することを推奨します。SageMaker AIチームは継続的に新しい知見を追加しているためです。

この新しいUIにより、組織全体のチームがデータ駆動型のインフラストラクチャ決定にアクセスしやすくなり、生成AIモデルの本番展開がより迅速かつ効率的になります。