本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

アクセンチュアの段階的アプローチで Amazon Bedrock の AI 経済性を最適化

記事の要約

企業が Amazon Bedrock で AI を拡大するにつれ、トークン単価が下がってもトークン支出は増加し得る。本稿では、6 つの組み合わせ可能な最適化レバーを紹介し、アクセンチュアが 4 つのクライアント案件でどのように適用したかを示し、自社ワークロードで AI トークン支出を削減する順序を推奨する。

ソースAWS Machine Learning Blog著者: Ilan Geller
アクセンチュアの段階的アプローチで Amazon Bedrock の AI 経済性を最適化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

企業が Amazon Bedrock で AI を拡大するにつれ、トークン単価が下がっているにもかかわらず、トークン支出は増加する傾向がある。安価なトークンは導入を促進し、エージェント型ワークロードは呼び出し回数を倍増させる。成功した AI ユースケースが拡大するにつれ、消費量は単価の下落よりも速く増える可能性がある。本当の経済的問いは、ビジネス価値の成長が、その価値を生み出すために必要なインテリジェンスのコストよりも速く成長するかどうかである。Linux Foundation は AI コスト経済学のオープン標準を策定する Tokenomics Foundation を立ち上げており、AI の経済性の管理が業界の専門分野になったことを示している。

アクセンチュアは、通信、保険、鉱業、大企業導入の 4 つのクライアント案件で 6 つの最適化レバーを適用した。節約が測定された案件では、トークン支出は約 40~85% 削減された。結果は各クライアントのワークロードに固有であり、変動する可能性がある。守秘義務のため、クライアント名は公表されていない。

最適化の前に、まずコストの帰属を実現する必要がある。Amazon Bedrock のアプリケーション推論プロファイルを通じて、アプリケーションまたはワークロードごとに 1 つのプロファイルを作成し、チーム、コストセンター、環境でタグ付けする。AWS の請求とコスト管理コンソールでこれらのコスト配分タグを有効にすると、どのチーム、アプリケーション、エージェントが支出を牽引しているかを追跡し、各変更の影響を測定できる。基盤となるテレメトリは 3 つの AWS サービスに依存する。AWS Cost and Usage Reports(CUR 2.0)は財務帰属を担当し、Amazon CloudWatch は呼び出し回数やレイテンシなどの運用シグナルを取得し、Amazon Bedrock のモデル呼び出しログは各リクエストのモデルと入出力トークン数を記録する。

テレメトリだけでは不十分である。エンジニアは呼び出しあたりのコストをダッシュボードで確認できるが、プロダクトオーナーやプログラムリーダーはビジネス用語で表現された指標を必要とする。アクセンチュアの Cost per Business Transaction(CpBT)フレームワークがこのギャップを埋める。CpBT は、1 つの成功したビジネス成果に寄与するすべてのモデル呼び出し、リトライ、ツール呼び出し、エージェントの引き継ぎを、完全に負荷された単一のコスト数値に集約する。これにより、生のトークン価格では隠れていた失敗試行を含む、結果を生み出す真のコストが明らかになる。各ワークフローが提供するビジネス価値と照らし合わせることで、CpBT は拡大の成功を反映した請求増加と、無駄を反映した請求増加を区別できる。

6 つの最適化レバーは、変更の複雑さと必要な投資に基づいて 3 つのフェーズに分類される。AWS とアクセンチュアはフェーズを順番に進めることを推奨しており、各フェーズは最も影響の大きいワークロードに独立して適用できる。

フェーズ 1 は構成のみで、インフラ変更は不要である。Amazon Bedrock のプロンプトキャッシュは、システム指示、ツール定義、参照ドキュメントなど、リクエスト間で繰り返されるプロンプト部分をモデルが再利用し、同じ内容の処理に全額を支払うことを防ぐ。Bedrock は以前に計算されたプロンプトプレフィックスのキーバリュー状態を保存し、後続のリクエストで再計算をスキップするように設計されている。サポートされているモデルでは、キャッシュされた入力トークンのコストを最大 90% 削減できる。Amazon Bedrock のバッチ推論は、緊急でないワークロードを非同期でグループ処理し、一部のモデルでオンデマンド料金より 50% 低いコストで提供する。リクエストはバッチジョブとして送信され、結果は処理完了時に Amazon S3 に書き込まれる。バッチ推論は、夜間レポート、ドキュメント処理パイプライン、評価実行など、即時応答が不要な場景に適している。どちらのレバーも既存の設定に構成を追加するだけで、新しいインフラやアーキテクチャの変更は不要である。

フェーズ 2 はアーキテクチャの変更を含む。Amazon Bedrock のインテリジェントプロンプトルーティングは、同じモデルファミリー内でリクエストを振り分け、すべてのリクエストを最も強力なモデルにデフォルトで送るのではなく、タスクに必要なインテリジェンスのレベル、複雑さ、リスクに応じてマッチングする。インテリジェントプロンプトルーティングは、精度を損なうことなくコストを最大 30% 削減できる。Retrieval Augmented Generation(RAG)の最適化は、階層型チャンキング、メタデータベースのフィルタリング、リランキングなどの手法で検索ステップを調整し、不要なコンテキストトークンがモデルに到達するのを減らす。アクセンチュアはさらに 2 つの補完的パターンを採用する。コンテキストスコーピングは、各エージェントが受け取るデータをワークフローのそのステップに関連するドキュメントスライスに限定し、コンテキスト圧縮はドキュメントがモデルに到達する前に要約またはフィルタリングする。どちらも入力トークン量を削減し、特にマルチエージェントチェーンで効果を発揮する。

フェーズ 3 はインフラとトレーニングへの投資を必要とする。セマンティックキャッシュは応答を保存し、新しいリクエストが既に回答されたものと意味的に類似している場合に再利用する。これにより冗長なモデル呼び出しを回避し、コストとレイテンシの両方を削減する。AWS では、Amazon ElastiCache などのベクトルストアをモデルの前段に配置して実装できる。63,796 件の実際のチャットボットクエリに関する AWS のベンチマークでは、0.90 の類似度しきい値で 74.5% のキャッシュヒット率、92.3% の精度、72.5% のコスト削減が得られた。ルーティングとセマンティックキャッシュを適用する際は、すべてのルートで Amazon Bedrock Guardrails を維持し、ユーザーが古い回答を受け取らないようにセマンティックキャッシュの有効期限を設定する必要がある。モデル蒸留は、大規模な教師モデルから小規模で高速な生徒モデルに知識を転送する。Amazon Bedrock の蒸留モデルは最大 500% 高速で、最大 75% 安価であり、RAG などのユースケースでは精度損失が 2% 未満である。蒸留は、安定した高ボリュームのワークロードで、トレーニング投資を正当化できる取引量がある場合に最適である。

本番では、4 つのクライアント案件がそれぞれ異なるコストパターンを対象とした。最初の大企業導入では、すべてのリクエストがフロンティアモデルに送られ、キャッシュ、モデル階層化、バッチ処理はなかった。アクセンチュアはモデル階層化、プロンプトキャッシュ、バッチ処理を同時に適用し、月間トークンコストを 85% 削減した。節約は変更ごとに分離されていない。タスクの約 15% は依然として困難なオープンエンド推論にトップモデルを必要とし、残りは軽量モデルで実行された。2 番目は年間トークン支出 1,200 万ドルの通信事業者で、支出の大部分はエージェントが無制限にリクエストをファンアウトすることと、複雑さに関係なくすべてのリクエストがフロンティアモデルに送られることによるものだった。アクセンチュアはトリアージルーティング、セマンティックキャッシュ、コンテキスト圧縮を同時に適用し、入力トークンは 70% 減少し、年間支出は 1,200 万ドルから 380 万ドルへ 68% 削減された。出力品質は事業者の変更前性能ベンチマークに対して検証された。3 番目と 4 番目の案件はそれぞれ単一のキャッシュ層を適用した。保険会社はモデル層のプレフィックスキャッシュを使用してプロンプトの静的部分を呼び出し間で再利用し、鉱業事業者はアプリケーション層のセマンティックキャッシュを使用して、リクエストがモデルに到達する前に保存された応答を返した。2 つの案件を合わせてトークン支出は約 40% 削減され、モデルルーティングの変更やトレーニング投資は行われなかった。

結果は約 40% から 85% の範囲で、各クライアントの出発点を反映している。節約は目的ではなく、AI ワークロードを拡大し、より価値の高いユースケースに再投資し、AI 消費 1 ドルあたりのリターンを改善するための容量を生み出す。2 つの案件は複数の変更を同時に適用したため、AWS とアクセンチュアは自社ワークロードでは次の順序を推奨する。消費を担当者と成果に結び付け、一度に 1 つのレバーを適用し、コスト、品質、ビジネス価値を測定し、効果のあるものの上に構築する。

本番ガバナンスには、コスト、品質、リスク、ビジネス価値にまたがる継続的なサイクルが必要であり、一度きりの技術変更ではない。レバーを適用する前に、コストと品質の両方の定量的ベースラインを確立する。出力品質を検証する際は、合成ベンチマークではなく、実際の本番トラフィックから抽出したホールドアウト評価セットを使用する。ワークロードごとに一度に 1 つのレバーを適用し、結果を特定の変更に帰属させ、品質が許容しきい値を下回った場合にクリーンにロールバックできるようにする。金融、保険、医療などの規制業界で運用する場合は、品質テスト結果とロールバック手順を標準の変更管理記録の一部として文書化する。これらの原則は、使用するレバーや段階に関係なく適用される。Amazon Bedrock AgentCore は、任意のフレームワークやモデルでエージェントを大規模に構築、接続、最適化する環境であり、AgentCore Evaluations はバッチ評価を提供して品質検証サイクルを支援する。

開始するには 3 つのステップがある。まず、Amazon Bedrock のコスト帰属をチーム、ワークロード、エージェント別に有効にする。次に、コストと品質のベースラインを確立する。最後に、フェーズ 1 のレバーから始め、一度に 1 つを適用して効果を測定する。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • アクセンチュアは通信、保険、鉱業、大企業の導入で最適化レバーを適用し、トークン支出を約 40~85% 削減した。
  • 最適化は、構成変更のみ、アーキテクチャ変更、インフラとトレーニング投資の 3 段階に分類され、順番に進めることが推奨される。
  • コスト配分タグと Cost per Business Transaction(CpBT)フレームワークが、消費とビジネス価値を結び付ける前提となる。
  • 本番ガバナンスには、コストと品質のベースライン設定、一度に 1 つのレバーの適用、ロールバック手順の文書化が必要である。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。