生成AIシステムを構築する際、最大のコストレバーはどのモデルを選ぶかではなく、そもそもモデルを呼び出すかどうかであることが多いです。多くのチームは、入力検証、フォーマット、ルーティングを含むすべてのタスクを大規模言語モデル(LLM)に通す傾向があります。個々の呼び出しは安価に見えますが、本番規模ではこれらの小さなコストがアーキテクチャの最大の費目になります。決定論的なルールで処理できる箇所ではモデルをスキップすることで、コストを削減し、レイテンシを短縮し、非決定性の原因を取り除くことができます。
このパターンは通常、プロトタイプから始まります。あるステップでモデル呼び出しが機能すると、次のステップでもデフォルトになります。入力の検証、リクエスト本文の再フォーマット、ルートの選択などです。プロトタイプの量では誰もコストに気づきませんが、本番量では不要なモデル呼び出しが3つの方法で損失をもたらします。支出はリクエスト数に応じて増加し、低価値なステップでも同様です。レイテンシは積み重なり、チェーン内の各モデル呼び出しが数百ミリ秒を追加します。出力は変動する可能性があり、同じ入力でも異なる答えが返ることがあります。これによりテストが難しくなり、監査が遅くなります。さらに、新しいモデルがリリースされるたびにどのモデルを使うかの議論が再燃し、そのステップにモデルが必要かという以前の問いは無視されがちです。
AWS Well-Architected Generative AI Lensを含むコストガイダンスは、しばしばモデル選択から始まります。しかし、この記事では一歩手前から始めます。そのステップにモデルは本当に必要か? 各ワークフローステップを次の3つの質問に順番に通し、要件を満たす最初のオプションで停止します。まず、ルールで成功を確認できるか(フォーマット、スキーマ、キーワード、範囲など)。ルールがステップの一部しか解決できない場合、ファストパスでルールを最初に実行します。次に、モデルがルールを一度だけ書けるか(正規表現やJSONスキーマなど)。3つ目に、固定リストから1つの答えを選ぶか(ルート、クラス、はい/いいえなど)。3つすべての答えがノーであれば、そのステップはオープンエンドであり、適切なサイズのモデルで実行します。
カスタマーサポートアシスタントを例に、5つのステップがチャートをどう通過するかを見てみましょう。1. 注文番号のフォーマットをチェック:ルールで成功を確認でき、Amazon API Gateway REST APIリクエスト検証またはAWS Lambda関数で実行。2. 意図によるメッセージのルーティング:ルールが一部を解決。「refund」などのキーワードマッチがファストパスで解決し、残りは3番目の質問へ。AWS Step Functions Choice状態でJSONataを使用し、残りは制約付き意思決定呼び出しへ。3. 配送業者メールから追跡番号を抽出:モデルがルールを一度だけ書ける。正規表現を起草し、レビューしてAWS Lambdaのコードとしてコミット。4. チケットを4つのサポートキューのいずれかに割り当て:答えは固定リストから。制約付き意思決定呼び出しを使用し、不確実な回答は適切なサイズのモデルへエスカレーション。5. 顧客への返信を起草:オープンエンドなタスク。適切なサイズのモデル、つまり要件を満たす最小のAmazon Bedrockモデルを使用。
タスクがオープンエンド、曖昧、または生成的(文書の要約、返信の起草、散文からの意味抽出)な場合はモデルを使用できます。タスクにチェック可能なルール(メール形式、スキーマ、正確なキーワード、数値範囲)がある場合は決定論的コードを使用します。ルール型のタスクをモデルに送ると、いくつかの特性を犠牲にします。呼び出しあたりのコストは通常桁違いに高く、レイテンシは1桁ミリ秒から数百ミリ秒に増加します。明確なルールに対する正確性は、コードは書かれた通りに正確ですが、モデルは高いものの非ゼロのエラー率があります。監査性では、ルールはソース管理に存在しますが、モデルは監査人に説明するのが難しいです。時間経過による動作は、コードは変更するまで安定していますが、モデルはバージョン変更や廃止により変化します。
モデルはハルシネーションを起こし、同じ入力に対して異なる答えを返すことがあります。温度を0にすると変動の可能性は低くなりますが、同一の出力を保証するものではありません。Amazon Bedrockのモデル評価とGuardrailsは、これらのリスクを測定し封じ込めるのに役立ちます。ルールにはこれらの問題がないため、規制対象のワークロードではルールが好まれます。有用なテスト:受け入れテストをルールとして書けるなら、通常そのステップもルールとして書けます。
多くのルーティングおよび分類ステップは、ルールとオープンエンド生成の間に位置します。ルールではすべてのケースを決定できませんが、これらのステップは生成テキストを必要としません。事前に定義した固定オプションリストから1つの答えを必要とします。出力を許可された答えに制限し、エスカレーションのシグナルを提供するコンポーネントを使用します。自信のある答えは続行し、不確実なものはエスカレーションします。AWS Well-ArchitectedエージェントAI Lensはこの階層的で信頼度ベースのエスカレーションを説明しています。AWSでは4つの方法で構築できます。構造化出力を持つ小型のAmazon Bedrockモデル:答えを列挙オプションと「不確実」オプションに制限し、エスカレーションをトリガーします。これはモデル自身の判断であり、キャリブレーションされたスコアではないため、エスカレーションの決定に使用する前にラベル付きデータで確認します。埋め込み類似度:Amazon Bedrock埋め込みモデルで入力を埋め込み、最も近いラベル付き例を選択します。類似度スコアをエスカレーションシグナルとして使用し、ラベル付きデータで閾値を設定します。Strands Decider(Apache License 2.0の実験的オープンソース意思決定モデル):オプションから選択するかルーブリックに照らしてスコアリングし、各回答にキャリブレーションされた信頼度を返します。READMEによると、短い分類タスクでは信頼度0.9以上の回答は約95%正確です。実験的なモデルであるため、本番使用前に自分のデータで結果を検証してください。リポジトリのデプロイガイドに従って、Amazon SageMaker AIエンドポイントなどで自己ホストできます。Amazon SageMaker AI上のトレーニング済み分類器:ラベル付きトレーニングデータがあれば、低レイテンシと低コストでクラス確率を返します。
どのオプションを選んでも、エスカレーションシグナルを自分のラベル付きデータで確認し、閾値を設定します。承認決定(返金限度額など)はルールに保持します。
多くのコストパターンはモデル間のルーティングに焦点を当てています。ファストパスはさらに一歩前に行きます。決定論的チェックを最初に実行し、ルールで解決できないものだけをモデルに送ります。意図ルーティングは一例です。多くのメッセージには「refund」や「reset my password」などの明確なシグナルがあり、キーワードマッチで1桁ミリ秒以内に解決できます。ルールがリクエストの95%を解決する場合、モデルに到達するのは20件に1件だけです(モデル選択による節約以前に)。これは例示的な計算であり、ベンチマークではありません。AWSでは既存のビルディングブロックを組み合わせます。AWS Step Functions Choice状態はワークフローがモデルを呼び出す前に分岐します。AWS Lambdaは検証やスキーマチェックなどChoice状態以上のルールをホストします。Amazon API Gateway(REST API)リクエスト検証は計算が実行される前に不正な入力を拒否します。制約付き意思決定呼び出しまたはAmazon Bedrockモデルは残りの部分のみを処理します。
モデルにルールを一度だけ書かせることもできます。正規表現やJSONスキーマを起草させ、レビューしてコミットします。実行時にはルールの速度とコストで動作します。モデルが書いた正規表現をレビューし、既知の良好な入力と不良な入力でテストします。(a+)+のようなネストされた量指定子は、一部の入力でマッチングを非常に遅くする可能性があるため避けます(正規表現サービス拒否、ReDoS)。
生成が必要な場合、Amazon Bedrockの構造化出力はレスポンスを定義したJSONスキーマに制限します。レスポンスはスキーマに一致するため、コードはカスタム解析ロジックなしで解析できます(内容の正確性を確認)。数値境界や長さ制限などの範囲チェックはコードに保持します。
品質の下限を満たす最も安価で高速なモデルを選択します。これは多くの場合、最新または最大のモデルではありません。Generative AI Lensは適切なサイズのモデル選択のベストプラクティスでこれをカバーしています。モデルを比較する前に要件を定義します。品質の下限(ゴールデン評価セットで測定された最低許容出力品質)、コスト上限(リクエストあたりまたは成功した結果あたりの最大費用)、レイテンシ目標(体験が許容できるp95またはp99応答時間)、コンプライアンス制約(データレジデンシーなど、候補を除外する可能性がある)。Amazon Bedrockは1つのAPIの背後に多くのモデルファミリーとサイズを提供するため、統合を変更せずに各タスクを適切なサイズにできます。Amazon Bedrock Intelligent Prompt Routingは、サポートされているモデルファミリー内で各リクエストを適切なモデルにルーティングします。Amazon Bedrock Model Distillationは、大規模モデルから小規模で安価なモデルに知識を転送します。モデルプロバイダーは新しいフロンティアモデルを広範なベンチマークで評価しますが、あなたのワークロードは1つのタスクと1つの品質下限です。大規模モデルはコストとレイテンシを追加してもそのタスクを改善しない可能性があります。切り替える前に、各リリースを要件(ゴールデン評価セットの品質やレイテンシ目標など)に対して評価します。
Generative AI Lensは、候補モデルをグラウンドトゥルースデータに対してテストし、モデルを迅速に更新する方法を持つことを推奨しています。さらに進んで、決定をテスト済み構成として扱います。タスクごとにラベル付きグラウンドトゥルースを持つゴールデン評価セットを保持し、継続的インテグレーションで実行します。品質の下限を下回る安価なモデルは回帰として扱います。モデルを構成フラグの背後に置き、交換を元に戻せるようにします。正しいオラクルで検証します。ルールはグラウンドトゥルースに対してチェックし、モデルを審査員とする評価はオープンエンドな出力に限定します。ドリフトに注意します。ルールで解決されたリクエストの一部をモニター経由でサンプリングします。