本文にスキップ
AI News HubLIVE
サイト内リライト8 分で読了

Amazon Bedrockのコストに影響する4つの推論選択肢

記事の要約

プロンプトやアプリケーションロジックを調整しても、Amazon Bedrockの推論請求額は増え続ける可能性があります。リクエストレベルの4つの選択肢——キャッシュ期間、サービスティア、推論努力、maxTokens——は、サービスが処理するトークン数と適用される料率を変えます。本記事では、それぞれのテスト方法と効果の検証方法を紹介します。

ソースAWS Machine Learning Blog著者: Sai Pavan Kasani
Amazon Bedrockのコストに影響する4つの推論選択肢
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

プロンプトやアプリケーションロジックを調整した後でも、Amazon Bedrockの推論請求額は増え続けることがあります。リクエストレベルの選択肢は、サービスが処理するトークン数と適用される料率を変える可能性があります。キャッシュ期間、サービスティア、推論努力、maxTokensは、モデルやプロンプトを変更せずにコストに影響を与えることができます。

各選択肢はモデルとワークロードによって異なります。この記事では、各選択肢をどのようにテストし、レスポンスメタデータ、ログ、請求データからその効果を検証する方法を示します。

これらの設定を自分で試すには、Amazon Bedrock SamplesのMixed TTL CachingノートブックとTenant Isolation with Prompt Cachingノートブックから始めてください。maxTokensと推論努力については、sample-code-for-genai-cost-management-workshop GitHubリポジトリの01-low-effortフォルダを参照してください。各サンプルは独自のモデルIDを設定しているため、呼び出すモデルに合わせてモデルIDと推論パラメータを変更してください。AWSリージョンごとのモデル可用性については、Models at a glanceを参照してください。モデル選択、バッチ推論、ルーティング、蒸留などのより広範な決定については、「Effective cost optimization strategies for Amazon Bedrock」を参照してください。

推論コストの発生源

すべてのAmazon Bedrockレスポンスには使用状況メタデータが含まれます。入力トークンと出力トークンは、リクエストを処理したモデルとティアの料率で課金されます。キャッシュ読み取りと書き込みは別のトークンカウンターを使用し、推論トークンは出力トークンとしてカウントされます。

プロンプトキャッシュ期間

繰り返されるシステム指示、ツール定義、参照コンテキストは、次のリクエストの前にキャッシュが期限切れになると再処理される可能性があります。Prompt caching for faster model inferenceガイドには、サポートされているAnthropicモデルの5分と1時間の生存時間(TTL)値が記載されています。また、サポートされているGPT-5.6モデルの最低30分のTTLも記載されています。サポートとAPIフィールドはモデルによって異なるため、期間を選択する前に現在のサポートマトリックスを確認してください。

サポートされているモデルの場合、Amazon Bedrockは暗黙的プロンプトキャッシュも提供します。これは、リクエストにキャッシュ制御を使用せずに適格なプロンプトプレフィックスを再利用しようとします。暗黙的キャッシュはベストエフォートであり、キャッシュヒットを保証しないため、このセクションの期間の選択肢は明示的キャッシュに適用されます。

このConverse APIシグネチャは、サポートされているモデルで1時間のエントリを要求します。

{ "cachePoint": { "type": "default", "ttl": "1h" } }

サポートされているAnthropicモデルの場合、InvokeModelは同じttl値をcache_controlに配置します。

長い期間が自動的に安価になるわけではありません。Amazon Bedrockの料金ページには、5分書き込み、1時間書き込み、キャッシュ読み取りの個別料率が記載されています。Amazon Bedrock上のAnthropic Claude Sonnet 5およびAnthropic Claude Opus 5では、5分書き込みのコストは入力料率の1.25倍です。1時間書き込みは2倍、キャッシュ読み取りは0.1倍です。

これらの料率は、各リクエストがまったく同じプレフィックスを再利用し、各キャッシュ読み取りがTTLを更新することを前提とした損益分岐点を設定します。5分キャッシュは、5分以内に最初に再利用された時点で元が取れます。同じプレフィックスのリクエストが5分以上間隔を空けて到着する場合、毎回1.25倍で書き換えられます。その場合、1時間キャッシュは1時間以内の2回目のリクエストから安くなります。

キャッシュ料率とチェックポイントの最小値はモデルによって異なります。呼び出すモデルのAmazon Bedrock料金ページとプロンプトキャッシュガイドを確認してください。モデルに対して比較を再実行し、展開後にキャッシュ読み取りトークンと書き込みトークンで確認してください。

安定したコンテンツを動的コンテンツの前に配置し、モデルのチェックポイント最小値を満たし、オンデマンド推論を使用してください。プロンプトキャッシュはバッチ推論では機能しません。

キャッシュされたプレフィックス(システム指示やツール定義を含む)を変更すると、ミスが発生し、新しい書き込みが行われます。チェックポイントはツール、システム、メッセージの順に評価されるため、前のセクションの変更は後のセクションも無効にします。頻繁に変更されるプロンプトをバージョン管理して、各バージョンが独自のキャッシュエントリを取得するようにしてください。Claude Sonnet 5で1時間チェックポイントを使用して6回の呼び出しを実行し、システムプロンプトを1回、ツール定義を1回変更しました。各変更により、キャッシュ読み取りはゼロになり、新しい書き込みが発生しました。

AWSはキャッシュエントリをアカウントとリージョンにスコープされると説明していますが、テナントにはスコープされません。マルチテナントアプリケーションでは、キャッシュ可能なプレフィックスの前にテナント固有のSHA-256ハッシュを付加します。Optimizing cost and latency with Amazon Bedrock prompt caching for Anthropic modelsの投稿では、このパターンが説明されています。プロンプトを構築する前にテナント認可を強制します。ハッシュは1つのアカウント内でエントリを分割します。規制対象のワークロードでハードなデータ境界が必要な場合は、各テナントを別々のAWSアカウントに配置します。

頻繁な再利用の場合は5分のデフォルトを維持します。同じプレフィックスが1時間に少なくとも2回、5分以上の間隔で再発する場合は、サポートされているより長い期間に移行します。キャッシュなしよりも優位に立つには、1時間キャッシュは1時間に3回のリクエストが必要です。

レイテンシ許容ワークロード向けのサービスティア

バックグラウンドジョブ、評価ハーネス、夜間の要約、バックフィルは、常にインタラクティブリクエストで使用されるレイテンシプロファイルを必要とするわけではありません。Flexをサポートするモデルの場合は、このリクエストシグネチャで選択します。

{ "serviceTier": { "type": "flex" } }

Standardティアを要求するには、standardではなくdefaultを使用します。serviceTierを省略することもできます。

{ "serviceTier": { "type": "default" } }

ティアのサポートはモデル固有であるため、正確なモデルバージョンごとにサポートを記録してください。Amazon Nova 2 LiteとOpenAI gpt-oss-120bのモデルカードにはFlexがサポートされていると記載されています。Amazon Bedrock上のAnthropic Claude Sonnet 5とAnthropic Claude Opus 5のカードには、サポートされていないと記載されています。サポートされていないモデルへのFlexリクエストは、Standardでサイレントに実行されるのではなく、ValidationExceptionで失敗します。Anthropic Claude Sonnet 5へのリクエストはそのエラーを返しました。

ポリシーがStandardをフォールバックとして許可している場合は、サポートされていないティアのエラーをキャッチし、defaultで1回再試行します。すべてのValidationExceptionを再試行しないでください。不正な形式のリクエストもそれを発生させます。アプリケーションレベルの再試行を制限します。AWS SDKの有界再試行戦略は、スロットリングと一時的なエラーを処理します。

Flexリクエストには独自の期限を設定してください。サポートされているレスポンスは解決されたティアを報告し、Amazon CloudWatch ResolvedServiceTierでも確認できます。Service tiers for optimizing performance and costと、呼び出す正確なモデルのAmazon Bedrock料金ページを参照してください。

Amazon Nova 2 LiteでFlexをテストし、200のデフォルトリクエストと200のflexリクエストをインターリーブペアで送信しました。両方のティアは同じ数の入力トークンと出力トークンを処理しました。400のリクエストすべてが要求されたティアに解決され、中央値のレイテンシ差はノイズと区別できないほど小さかったです。執筆時点では、us-west-2のNova 2 Liteの公開Flex料率はStandard料率の半分であり、請求書はそれを反映していました。現在の料率についてはAmazon Bedrock料金ページを確認してください。レイテンシに敏感なトラフィックはdefaultに維持してください。

適応的思考の努力

推論トークンは出力トークンとして課金されます。Claude Sonnet 5とClaude Opus 5は、リクエストがthinkingフィールドを省略した場合でも、デフォルトで高努力の適応的思考を使用します。Claude Sonnet 4.6から変更なしで移行したアプリケーションは思考トークンの課金を開始し、maxTokensは思考とレスポンステキストの両方を制限するようになりました。Claude Haiku 5.5はデフォルトで中程度です。3つのモデルすべてがlow、medium、high、xhigh、maxをサポートしています。このリクエストシグネチャでタスクの努力を下げます。

{ "thinking": { "type": "adaptive" }, "output_config": { "effort": "low" } }

努力はthinking内ではなくoutput_configに保持してください。モデルを変更するたびにAdaptive thinkingを確認してください。

Claude Opus 5でツール呼び出しエージェントをテストしました。その3つのタスクは「Build long-horizon agents with Grok 4.7 on Amazon Bedrock」の設計に従い、それぞれに1つの正解があります。各タスクを各努力レベルで8回実行しました。表は中央値の出力トークンを示しています。

努力 正解実行数 中央値出力トークン lowからの変化(95%区間)

low 24/24 936 ベースライン

medium 24/24 1,484 +59%(50%〜78%)

high(デフォルト) 24/24 2,521 +169%(112%〜190%)

xhigh 24/24 2,964 +217%(170%〜260%)

max 24/24 3,762 +302%(180%〜402%)

低い努力での精度はモデルとタスクによって異なります。自分のタスクに似たタスクで測定してください。

Amazon Bedrock SamplesのInvoke Bedrock model for code generation workloadでは、中央値の出力トークンはlowで676、highで743であり、実行間の変動範囲内でした。採点したプログラムは各努力レベルで合格しました。

リクエストごとの出力トークン数、CloudWatch AWS/Bedrock OutputTokenCount、呼び出しログ、タスク合格率を使用して選択を評価します。ルーチンで境界が明確なタスクではhighを下回る設定から始めます。品質テストがタスクに必要と示す場合はhighを維持します。タスクを壊すトークン削減は節約ではありません。

出力トークン制限

maxTokensはアプリケーションの出力上限です。不正なプロンプト、リグレッション、ループがリクエストを停止する前に生成できる出力を制限します。クォータルールは「How tokens are counted in Amazon Bedrock」に記載されています。Amazon Bedrockはリクエスト開始時に入力トークンとmaxTokensを差し引くため、過大な値は同時実行数を減らします。

出力上限は安全制御ではありません。本番の生成AIワークロードでは、Amazon Bedrock Guardrailsを標準の責任あるAI制御として使用してください。Guardrailsはコンテンツをフィルタリングし、プロンプト攻撃を検出し、サポートされている入力とレスポンスでグラウンディングをチェックできます。「Detect and filter harmful content by using Amazon Bedrock Guardrails」を参照してください。

代表的な出力トークン分布を観察した後、タスクタイプごとにmaxTokensを設定します。

{ "inferenceConfig": { "maxTokens": 155 } }

リクエストパラメータについてはInference using Converse APIを参照してください。

Claude Sonnet 5でのテストでは、5つの通常出力のピークが103トークンだったため、余裕を持たせて例示的な155トークンのフェンスを設定しました。次に、同じ故意に冗長なプロンプトを適応的思考を無効にして送信し、1回は2,048トークン上限で、もう1回は155トークンフェンスで送信しました。最初のリクエストは2,048出力トークンを生成し、2番目は155を生成したため、フェンスは1,893出力トークンを回避しました。両方ともmax_tokensで停止したため、両方のレスポンスは切り捨てられました。フェンスは支出を制限しますが、不適切なプロンプトを有用にするわけではなく、マルチターンまたはエージェントチェーンでは切り捨てられたターンが後続のステップを壊す可能性があります。

本番キャリブレーションでは、タスクタイプごとに95パーセンタイルと99パーセンタイル(P95とP99)を比較し、選択したパーセンタイルに余裕を追加します。適応的思考を有効にすると、maxTokensは思考トークンも制限するため、思考を有効にしてキャリブレーションします。P95は露出をより積極的に制限しますが、切り捨てリスクを多く受け入れます。P99はより高い上限で有効なロングテールレスポンスをより多く保持します。max_tokens停止を監視し、タスクの制限を上げる前にリクエストを調査します。

まとめ

各設定に同じテストループを使用します。モデルサポートを確認し、1つのリクエスト選択を変更し、トークンまたはコストを測定し、品質または完了を追跡します。モデル間でルーティングする場合は、モデルバージョン、リージョン、APIごとに機能レコードを保持します。サポートされているキャッシュ期間、サービスティア、推論レベル、出力上限です。送信する前に各リクエストをそのレコードに対して検証し、レスポンスで解決されたティアとキャッシュカウンターを確認します。

設定 デフォルトまたは寛容な状態 結果 受け入れるリスク

キャッシュ期間 モデル固有のTTL 公開されているSonnet 5とOpus 5の料率では、間隔が5分を超える場合、1時間キャッシュは1時間あたり2回目のリクエストから勝ちます 1時間書き込みは入力の2倍のコストがかかるため、低い再利用では損失が出ます。テナントプレフィックスを分割

サービスティア default 執筆時点では、Nova 2 Lite FlexはStandard料率の半分で公開され、請求書は一致しました 処理時間が長くなります。独自の期限とフォールバックを設定

推論努力 テストされた適応モデルではhigh lowからhigh:エージェントテストでは中央値出力トークンが169%増加、コード生成では信頼できる差なし 品質はタスクの能力境界付近で低下する可能性があります。トークンで合格率を追跡

maxTokens 寛容な2,048トークン上限 1回のテストで、例示的な155トークンフェンスが1,893出力トークンを回避 切り捨てはマルチターンまたはエージェントチェーンで連鎖する可能性があります。再試行前にstopReasonを確認

[AIコスト管理のため切り捨て]

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • キャッシュ期間、サービスティア、推論努力、maxTokensはトークン使用量と課金率に直接影響します。
  • 長いキャッシュ期間が常に安価とは限らず、リクエスト頻度と間隔に基づく損益分岐点の計算が必要です。
  • Flexサービスティアはレイテンシ許容ワークロードのコストを削減できますが、モデルサポートとフォールバック戦略を確認してください。
  • 推論努力は出力トークンを数倍に増やす可能性があり、品質とコストのバランスが重要です。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。