このシリーズのパート1では、IAM プリンシパルタグとコストおよび使用状況レポート2.0による帰属、モデル呼び出しログによる可観測性、3層での実施、レビューケイデンスを含む、Amazon Bedrock の支出を制御する運用モデルを構築しました。その層は「誰が使ったか」と「止められるか」に答えますが、支出が適切だったかはわかりません。この記事では2つの問いに答えます。なぜこのワークフローは高価なのか?エージェントは人間より優れているのか?
まず、トークンあたりのコストではなくタスクあたりのコストで考える必要があります。タスクとは、アプリケーションがモデルに依頼する1つの完全な作業単位です。サポートメールの解決、請求書からのフィールド抽出、ユーザーの質問への回答などです。タスクはリクエストから使用可能な結果まで続き、モデル呼び出しが何回必要でも関係ありません。安価なモデルは、トークナイザー効率が悪い、出力が冗長、ツールスキーマを誤解して修正ループに入る、推論トークンを大量に消費するなどの理由で、実際には高くつく可能性があります。これらのコストは Bedrock の価格ページには表示されません。
4つの隠れたコスト要因が実際のコストを決定します。第一に、トークナイザー効率:モデルファミリーごとにトークナイザーと語彙が異なり、同じテキストが異なるトークン数に分割されます。非英語テキストでは、トークナイザーが非ラテン文字を英語の2〜3倍のトークンに断片化することがよくあります。第二に、出力調整と冗長性:出力トークンは通常、入力トークンの3〜5倍のコストがかかります。「生の JSON のみを返す」などのフォーマット制約を無視するモデルは、埋め草の単語に出力プレミアムを支払うことになります。第三に、エージェントループ効率:ツール使用(関数呼び出し)はマルチターンループを必要とし、各ターンで完全な会話履歴とツール結果が入力トークンとして再送信されます。4ターンかかるモデルは、1パスで完了するモデルよりはるかに高くつきます。第四に、推論オーバーヘッド:多くのモデルは拡張思考をサポートし、目に見える回答の前に思考連鎖を処理します。推論トークンは出力トークンとして課金されるため、200トークンの回答の前に2,000トークン思考するモデルは2,200トークン課金されます。推論をオフにして開始し、ベンチマークがコストを正当化する品質ギャップを示した場合にのみ有効にします。
事例で説明します。750語の顧客メールを読み、エンティティを抽出し、API を呼び出してアカウント状態を確認し、厳密な JSON を出力するエージェントワークフローを考えます。モデル A の入力リスト価格は100万トークンあたり0.50ドル、出力は1.50ドル。モデル B はそれぞれ1.00ドルと3.00ドルです。モデル A のトークナイザーはメールを1,500トークンに分割し、モデル B は1,000トークンです。モデル A は450トークンを出力し、モデル B は150トークンです。モデル A は3ターン(エラー修正)が必要で、モデル B は1ターンのゼロショットで完了します。モデル A の累積入力は6,150トークン、出力は750トークン。モデル B は入力1,000トークン、出力150トークン。総タスクコスト:モデル A は (6,150 x 0.50 + 750 x 1.50) / 1,000,000 = 0.0042ドル。モデル B は (1,000 x 1.00 + 150 x 3.00) / 1,000,000 = 0.00145ドル。リスト価格が2倍でも、モデル B の実際のコストは65%低くなります。3つの複合要因:トークナイザーの断片化が各入力ペイロードを50%膨らませ、出力パディングが出力トークンを3倍にし、ツールスキーマの不一致が2回の修正ターンを必要とし、各ターンが増大する履歴を再送信します。
上記は両モデルが最終的に成功することを前提としています。本番では失敗は無料ではありません。成功するまで再試行するワークフローの場合、成功タスクあたりのコスト = 試行あたりのコスト / 成功率。失敗時にエスカレーションするワークフローの場合、成功タスクあたりのコスト = 試行あたりのコスト + (1 - 成功率) x エスカレーションコスト。プロンプトキャッシュが有効な場合、入力はさらに3つのバケットに分かれます:キャッシュされていない入力は基本レート、キャッシュ読み取りは基本レート未満、キャッシュ書き込みは基本レート以上です。
独自のワークロードで実際のコストを測定するには、Amazon Bedrock モデル評価が品質面の管理機能です。基準を定義し、プロンプトデータセットをアップロードし、自動メトリクスとオプションの人間レビューでスコア結果を取得します。ただし、品質スコアだけでは請求書は生成されません。3つの Bedrock 機能がトークンとターン数を提供します。CountTokens は推論を実行せずに、指定されたペイロードに対して指定されたモデルが課金する入力トークン数を返します。トークナイザー効率を比較する最も安価な方法です。モデル呼び出し応答には usage ブロックが含まれ、inputTokens、outputTokens、cacheReadInputTokens、cacheWriteInputTokens があります。これらを累積するとコスト式の4つの項が得られます。注意:キャッシュが有効な場合、inputTokens はキャッシュされていないトークンのみをカウントするため、総入力量は3つの合計ですが、レートが異なるため別々に価格設定する必要があります。モデル呼び出しログは、呼び出しごとのトークン数を S3 または CloudWatch Logs に書き込み、実際の本番トラフィックに対して完了までのターンを測定できます。リクエストメタデータで呼び出しにタグを付け、チーム、機能、実験ごとにスライスできます。ただし、これらはログフィールドであり、コスト配分タグではないため、コストエクスプローラーやコストおよび使用状況レポートには表示されません。アプリケーション推論プロファイルは両方に到達しますが、1日あたり1使用タイプの粒度であり、チャージバックには適していますが、タスクあたりのコストには粗すぎます。ログのトークン数に公開レートを掛けると、請求書ではなくほぼリアルタイムの見積もりが得られます。請求書として扱う前に、コストおよび使用状況レポートと照合してください。
タスクあたりのコストを削減する4つのレバーがあります。プロンプトキャッシュは再送信されるコンテキストを削減し、エージェントパスで最大の勝利となります。インテリジェントプロンプトルーティングは、簡単なリクエストを同じファミリーの安価なモデルに送信します。ツールスキーマと maxTokens 上限は、散文の指示よりも確実に冗長性を抑えます。拡張思考は、ベンチマークがコストを回収できると示すまでオフにします。バッチ推論はバルク単一ターン作業のレートを半減しますが、ツール呼び出しとマルチターン交換は除外されます。
エージェントの ROI を証明するには、まず人間のベースラインを文書化する必要があります。最大の間違いは、人間のワークフローを説明せずに価値を証明しようとすることです。エージェントを構築または拡張する前に、現在のプロセスを運用用語で書き留めます。何が作業をトリガーするか、どの人間の役割が関与するか、引き継ぎがどこにあるか、完了がどのように定義されるか。これは官僚主義のように聞こえますが、実際には測定設計です。下流のすべての計装決定(何が実行と見なされるか、何が成功か、人間の時間がどこに費やされるか)はこの説明から導かれます。エージェントが出荷される前に、意味のある期間にわたって人間のベースラインを測定します。完了までの時間、キュー時間、アクティブな労力、再オープン率、エスカレーション率、タスクあたりのコスト、結果の品質。ベースラインは事後に記憶から再構築するのではなく、エージェントが稼働する前に測定する必要があります。回顧的ベースラインは系統的にエージェントに有利です。人々は平均的なケースを覚え、速いケースを忘れます。
ベースラインが存在したら、初日からエージェントワークフローを実験として計装します。すべての実行にトレース ID が付与され、すべての意味のあるステップが観測可能になります。ワークフロー実行レコードは、モデル呼び出し以上のすべてを1つの分析可能な単位に集約します。runId、ワークフロー、エージェント、プリンシパル ARN、チーム、コストセンター、実験ブロック(バリアント、ホールドアウト、プロンプトバージョン、ポリシーバージョン)、運用メトリクス(遅延、再試行、ツール呼び出し、人間の承認、人間の分、エスカレーション)、経済メトリクス(入力トークン、出力トークン、キャッシュ読み取りトークン、推定コスト)、結果(ステータス、受け入れ、再オープン、収益イベント ID)が含まれます。3つのフィールドが重要です。実験ブロックは実行作成時にスタンプされ、Bedrock リクエストメタデータに伝播されるため、モデルレベルとワークフローレベルのレコードがきれいに結合します。人間の分はほとんどのチームが省略しますが最も必要です。これがないと、「エージェントが仕事をした」と人間がレビューに費やした35分を静かに除外します。収益イベント ID は後で収益帰属を可能にするフックです。記録するのにコストはかからず、後で再構築できません。
ルールは、ワークフローテレメトリがこれらのフィールドをキャプチャできない場合、ROI を証明できないということです。ホールドアウト実験で処理群と対照群を比較し、5次元スコアカード(品質、速度、コスト、人間の労力、ビジネス成果)を使用して決定を下します。最終的に、タスクあたりのコストを最適化し ROI を証明するには、一度きりのベンチマークではなく、継続的な測定、実験、調整が必要です。